Mahmoud Abbasi(サラマンカ大学)、Juan M. Núñez V.(AIR Institute、サラマンカ)、Amin Shahraki(オスロ大学)による論文のコード、派生データ、結果ファイル、およびすべてのモニター呼び出し。
本論文は、ツール呼び出しのトレースから乗っ取られた LLM エージェントを検出する検出器を評価する:行動特徴量および複合特徴量に対するロジスティック回帰(LR-B、LR-C)、GRU シーケンスモデル、凍結ステップ埋め込み上のトランスフォーマー(SE)、TF-IDF コンテンツ参照、および公開された AlignmentCheck アクションモニター(2 つのバックボーン:MON-L、Llama 3.3 70B w4a16;MON-A、Claude Sonnet 5.5)。評価は、制御された攻撃有病率の下、段階的なツールカバレッジの下、および AgentDrift と AgentDojo におけるワールド、タスク、ドメイン、クロスベンチマークのシフトの下で実行される。
EXTENDED_REPORT.pdf は論文で引用されている拡張レポートである。これは本研究の長編版(38 ページ、本文と補足資料)であり、第 3 著者が参加する前に執筆され、論文で要約されたすべての分析、各分析計画とその逸脱、およびすべての補足表を提供する。
| パス | 内容 |
|---|---|
EXTENDED_REPORT.pdf | 拡張レポート(上記参照) |
featurise.py、evalkit.py、gru_detector.py、baseline_drift.py | 共有モジュール:特徴量、メトリクスとブートストラップ、GRU、Markov および Isolation Forest の参照実装 |
agentdojo_extract.py | ツール呼び出しと観測の位置ベースのペアリングを用いて AgentDojo トレースを抽出する |
agentdojo_traces.jsonl、agentdojo_failed.jsonl | 抽出された AgentDojo トレース(母集団 P0、良性 392 件および侵害 2,294 件)と、4,987 件の失敗した攻撃 |
rerun_r1r3.py、ablation.py、world_disjoint_r1.py、r4_control.py、gru_ladder.py、gru_r3_diagnostic.py、pre_ablation_audit.py | 第1版の実験スクリプトを、修正された抽出に対して再実行したもの。結果ファイル(*.json)付き |
R4_CONTROL.md、PRE_ABLATION_DESIGN.md、GRU_PREREGISTRATION.md、REVISION_ANALYSIS_PLAN.md | 最初の研究における4つの内部解析計画 |
SENCODER_PREREGISTRATION.md、revision/sencoder_run/SENCODER_PREREGISTRATION.amendment*.md、SENCODER_RESULTS.md | SE 研究の計画、修正、および結果 |
MONITOR_PREREGISTRATION.md、revision/monitor_run/MONITOR_PREREGISTRATION.*.md | モニター研究の計画、その第1版、および修正1〜4 |
revision/ | 予測キャッシュのビルダー、解析ストリーム、その結果ファイルとサマリー、DEVIATIONS.md、RESULTS_SUMMARY.md、PLAN_MANIFEST.txt(すべての計画と結果の SHA-256 を記録したタイムスタンプ付きログ)、および再現性ガイド REPRODUCIBILITY.md |
revision/sencoder_*.py、revision/sencoder_results.json、revision/sencoder_summary.md、revision/sencoder_run/ | SE:埋め込み、学習、解析スクリプト、結果、クラスタログ、およびマニフェスト |
revision/monitor_render.py、monitor_score_vllm.py、monitor_score_api.py、monitor_detector.py、monitor_tables.py | モニター研究:エージェントの各ステップごとに1回の AlignmentCheck 呼び出し、vLLM(MON-L)およびプロバイダのバッチインターフェース(MON-A)によるスコアリング、凍結された解析とそのテーブル |
revision/monitor_results.json、revision/monitor_summary.md | 凍結されたモニター解析の結果 |
revision/monitor_run/ | すべてのモニター呼び出しと、スコア付きのすべての生のモニター出力(revision/monitor_run/README.md 参照) |
revision/cache/ | 予測キャッシュの検証ファイルとサマリーファイル。キャッシュされた予測と埋め込み自体(約 800 MB)は含まれておらず、スクリプトによって再構築される |
paper/ | 結果ファイルからすべてのテーブルを生成するスクリプトとその出力:tables/(最初の研究)、tables_sencoder/(SE を追加)、tables_monitor/(モニターを追加。これらが論文および拡張レポートのテーブルである) |
paper_v06/make_figures_v06.py、paper_v06/fig_v06_* | 論文の図 |
MANUSCRIPT_SOURCE.*.md、SUPPLEMENT_SOURCE.*.md | 拡張レポートのソース。paper/build_sencoder.py と paper/build_monitor.py が生成されたテーブルを挿入する |
archive_v0.3/ | 第1版の結果と以前の AgentDojo 抽出。拡張レポートでの比較のために保持されている |
tests/ | AgentDojo 抽出のユニットテスト |
THIRD_PARTY/ | AgentDojo およびベンダー化された AlignmentCheck スキャナ(LlamaFirewall)のライセンス |
検出器の結果は、CPU 上の CPython 3.10.4 で計算された。SE は Slurm クラスタの1ノードで実行され、MON-L は
NVIDIA H100 80GB HBM3 上で vLLM 0.29.0 を用いて実行された(バージョンは revision/monitor_run/mon_l/env.json に記載)。
pip install -r revision/requirements-lock.txt --extra-index-url https://download.pytorch.org/whl/cpu
元のベンチマークを読み込むスクリプトは、ローカルクローンを指す2つの環境変数を必要とします。
git clone https://github.com/Asif-0209/AgentDrift && git -C AgentDrift checkout 014a514f
git clone https://github.com/ethz-spylab/agentdojo && git -C agentdojo checkout 089ed468
export AGENTDRIFT=$PWD/AgentDrift
export AGENTDOJO=$PWD/agentdojo
表と図は、このリポジトリ内の結果ファイルから再生成されます。build_monitor.py はインポート時に AGENTDRIFT を読み込むモニター分析モジュールをインポートするため、その変数を設定する必要があります。
cd paper
python gen_tables_v04.py # paper/tables/
python build_sencoder.py # paper/tables_sencoder/
python build_monitor.py # paper/tables_monitor/, the tables of the paper
cd ../paper_v06
python make_figures_v06.py # paper_v06/fig_v06_*.pdf and .png
2つのビルドスクリプトは、MANUSCRIPT_SOURCE.*.md と SUPPLEMENT_SOURCE.*.md から拡張レポートの LaTeX も組み立てます。
ベンチマークからの実験の再実行は、検出器については revision/REPRODUCIBILITY.md、SE については revision/sencoder_run/ を用いた SE 計画、モニターについては revision/monitor_run/README.md を用いたモニター計画に従います。
<repo>、$AGENTDRIFT、$AGENTDOJO または <local> に置き換えられています。数値結果は一切変更されていません。PLAN_MANIFEST.txt と repro_checks.json 内の SHA-256 値は、解析マシン上にあった時点のファイルを指すため、パスが置き換えられたファイルとは一致しません。revision/offline_driver.sh もポータブル化されています。Python スクリプトは変更されていないため、一部のスクリプトはローカルのデフォルトパスを保持しており、これは環境変数によって上書きされます。*.jsonl.gz)で保存されているため、呼び出しマニフェスト内の SHA-256 値は展開後のファイルに対して有効です。LICENSE を参照)。revision/monitor_run/alignmentcheck_scanner.py は LlamaFirewall(Meta Platforms, Inc. および関連会社)からベンダー化されたもので、MIT License の下で公開されています(THIRD_PARTY/LlamaFirewall-LICENSE.txt を参照)。agentdojo_traces.jsonl、agentdojo_failed.jsonl、archive_v0.3/agentdojo_traces.jsonl、revision/monitor_run/agentdojo_run_context.jsonl、revision/sencoder_run/ 内の AgentDojo 環境ファイル、およびモニター呼び出しの AgentDojo 部分は、著者らによって MIT License の下で公開されている AgentDojo に由来します(THIRD_PARTY/AgentDojo-LICENSE.txt を参照)。revision/tool_state_annotation.json、revision/monitor_run/agentdrift_taskdisjoint/ 内のタスク非依存分割、およびモニター呼び出しの AgentDrift 部分は、Pinjari および Saint-Germain への帰属表示を伴い CC BY 4.0 の下で共有されています。AgentDrift: A Step-Labeled Benchmark of Injection-Hijacked LLM Agent Trajectories(2026)、https://github.com/Asif-0209/AgentDrift。これらは抽出、分割、およびモニタープロンプトへのレンダリングによって変更されています。このコードまたはデータを使用する場合は、論文を引用してください(CITATION.cff を参照)。arXiv 識別子は、プレプリントが利用可能になり次第追加されます。