論文のコード
AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents
AutoPI は、ツールを使用する LLM エージェント向けの適応型レッドチーマーです。単にエージェントを頻繁に破るだけでなく、エージェントを破る多様な方法を見つけるために構築されています。各シナリオにおいて、攻撃者 LLM がプロンプトインジェクションの分類体系のすべてのサブテクニックに対して間接プロンプトインジェクションを作成し、その後、LLM ジャッジからのフィードバックを用いて失敗したものを改良します。
機能するインジェクションは稀であり、テクニックごとに 1 つずつ、領域内に存在すると推測されています。AutoPI は 3 つのフェーズで探索を行い、戦略はこれらのフェーズをスキップ、サイズ変更、繰り返し、または並べ替えることができます。
同梱の AgentDojo とともに AutoPI をインストールします。Python 3.11 を推奨します。
git clone https://github.com/stevendamianakis/autopi
cd autopi
python3.11 -m venv .venv && source .venv/bin/activate
pip install -e . -e benchmarks/agentdojo
ターゲットとジェネレーターを、ポート8000で動作するvLLMなどのOpenAI互換サーバーに向け、949件すべてのAgentDojoシナリオでFull戦略を実行します:
autopi run --benchmark agentdojo \
--target vllm:8000:MODEL_ID \
--refiner vllm:8000:MODEL_ID \
--strategy configs/strategies/full.yaml \
--logdir runs/agentdojo-full
--dry-run を追加すると、モデルを呼び出さずに設定を確認し、シナリオを一覧表示できます。各実行では、
解決された設定と各シナリオのすべての試行が --logdir フォルダに書き込まれます。コード内では、
ジェネレーターはリファイナーと呼ばれます。
configs/models.example.yaml のコピー内で各モデルに一度ずつ名前を付け、その名前を渡します。API キーは
環境変数から読み取られ、ファイルには保存されません。
cp configs/models.example.yaml configs/models.local.yaml
autopi run --benchmark agentdojo --models-config configs/models.local.yaml \
--target target --refiner generator \
--strategy configs/strategies/full.yaml --logdir runs/agentdojo-full
プロバイダーは openai-compatible(任意の URL)、openai、anthropic、google、ollama であり、anthropic:MODEL_ID のような短い指定はファイルなしで動作します。モデル設定では、デコード設定、思考モード、およびサーバー側のツールパーサーが削除したテキストの復元について説明しています。
pip install -e benchmarks/ipi_arena
# the 8 browser scenarios also need:
pip install -e 'benchmarks/ipi_arena[browser]' && python -m playwright install chromium
autopi run --benchmark ipiarena --models-config configs/models.local.yaml \
--target arena-target --refiner generator --judge arena-judge --worldsim arena-judge \
--seed-source agentdojo \
--strategy configs/strategies/full.yaml --logdir runs/ipiarena-full
IPI Arenaには41のシナリオがあります:18のツール使用、15のコーディング、8のブラウザです。シナリオは、そのすべての基準が合格した場合にのみ壊れたものとしてカウントされ、--ipi-ignore-concealmentを指定すると代わりにアクションのみのメトリクスが選択されます。ターゲットはネイティブのツール呼び出しを使用し、ブラウザシナリオには画像対応のターゲットが必要です。ベンチマークにはシードが同梱されていないため、--seed-source agentdojo、--seed-file、またはシードブロックのない戦略を使用してください。
--mode 3はデフォルトかつ論文の設定であり、生成器にユーザータスクとインジェクションの目標を示します。モード1と2は目標を見せないテンプレートを書き、モード2はユーザータスクも参照します。--no-judge、--no-context、--no-legitimizeは、3つの適応メカニズムのうち1つを無効にします。--seed-fileは別のシードを使用し、--no-seedはスイープから開始します。--taxonomy-pathは同じファイルレイアウトを持つ別のタクソノミーをスイープします。--no-early-stopは最初の成功後も継続し、カバレッジ実行に使用します。--shardと--num-shardsは実行をワーカー間に分割し、--resumeは中断された実行を継続します。autopi run --helpはすべてのオプションを一覧表示します。
戦略とは、ブロックの順序付きリスト、シナリオごとの試行予算、および停止ルールです。configs/strategies/内の3つのファイルは、論文のAutoPI-Full、AutoPI-Seed-Exploit、AutoPI-L1です。これらは例であり、制限ではありません:
| ファイル | ブロック | 試行回数 | 目標 |
|---|---|---|---|
full.yaml | seed、L1スイープ、失敗した各行の3バリアント | 529 | カバレッジ |
seed-exploit.yaml | seed、seedの600バリアント | 601 | 強力なseedによるASR |
l1.yaml | seed、L1スイープ | 133 | 低コスト |
# configs/strategies/full.yaml
version: 1
budget: 529
stop: first_success
blocks:
- kind: seed
- kind: sweep
id: exploration
level: 1
order: priority
- kind: sweep_exploit
source: exploration
reps: 3
ブロックは省略、並べ替え、繰り返しが可能で、各スイープは独自のタクソノミーサブセット、順序、組み合わせレベル、上限を取ります。詳細は戦略ガイドを参照してください。
AutoPIはデフォルトのタクソノミーとしてPIAtlasを搭載しています。6クラス、34テクニック、131の名前付きサブテクニックに加え、サブテクニックを持たないテクニックが1つあるため、フルスイープは132ユニットになります。同じJSONレイアウトの他のタクソノミーであれば、コードを変更することなく置き換え可能です。--taxonomy-pathでそのファイルを渡してください。
ログには、各行がどのサブテクニック向けに生成されたかが記録されます。これはプロベナンス(由来情報)であり、インジェクションのラベルではないため、実行後に成功したインジェクションにラベルを付ける論文のカバレッジ指標として報告しないでください。
エンジンはベンチマークをインポートしません。アダプターがエンジンに名前と2つのメソッドを提供します:
class MyBenchmark:
name = "my-benchmark"
def iter_points(self):
"""Yield the scenarios to attack, each with its user task and injection goal."""
def run(self, point, injection_text):
"""Place the injection, run the target once, and return the outcome and the transcript."""
AutoPIの拡張では、プロトコル全体とPython APIについて説明しています。
| パス | 内容 |
|---|---|
src/autopi/ | エンジン: ストラテジー、生成器と判定器のプロンプト、シード、タクソノミー、モデルクライアント、アダプター、実行ハーネス |
configs/ | ストラテジーファイルとモデル設定の例 |
benchmarks/ | AutoPIが実行するAgentDojoとIPI Arenaのソースとそのライセンス。THIRD_PARTY.mdには上流のリビジョンと少数のローカル変更が記載されています |
docs/ | ストラテジー、モデル、拡張、リリースノート、検証 |
tests/ | エンジンのテスト |
examples/ | 両方のベンチマークを実行するサンプルスクリプト |
scripts/ | ローカルvLLMサーバー用のランチャー |