Skip to content
KitploitKITPLOIT
ツールブログ
Log in
提出
ツールブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
ツール/GitHubGitHub/mahmoud-abbasi-svg/agent-trace-detector-eval
機械学習論文と研究学習と教育AIセキュリティ異常検知ログ分析
GitHubmahmoud-abbasi-svg/agent-trace-detector-eval

agent-trace-detector-eval

以下に関するコード、派生データ、および結果: 稀な攻撃と分布シフト下でのハイジャックされたLLMエージェントのベースライン検出器の評価

共有
リポジトリを見る
5919日前未レビュー

乗っ取られた LLM エージェントの検出器について標準的な評価が隠しているもの:稀な攻撃、未知のツール、ベンチマーク転移

Mahmoud Abbasi(サラマンカ大学)、Juan M. Núñez V.(AIR Institute、サラマンカ)、Amin Shahraki(オスロ大学)による論文のコード、派生データ、結果ファイル、およびすべてのモニター呼び出し。

本論文は、ツール呼び出しのトレースから乗っ取られた LLM エージェントを検出する検出器を評価する:行動特徴量および複合特徴量に対するロジスティック回帰(LR-B、LR-C)、GRU シーケンスモデル、凍結ステップ埋め込み上のトランスフォーマー(SE)、TF-IDF コンテンツ参照、および公開された AlignmentCheck アクションモニター(2 つのバックボーン:MON-L、Llama 3.3 70B w4a16;MON-A、Claude Sonnet 5.5)。評価は、制御された攻撃有病率の下、段階的なツールカバレッジの下、および AgentDrift と AgentDojo におけるワールド、タスク、ドメイン、クロスベンチマークのシフトの下で実行される。

EXTENDED_REPORT.pdf は論文で引用されている拡張レポートである。これは本研究の長編版(38 ページ、本文と補足資料)であり、第 3 著者が参加する前に執筆され、論文で要約されたすべての分析、各分析計画とその逸脱、およびすべての補足表を提供する。

リポジトリ構成

パス内容
EXTENDED_REPORT.pdf拡張レポート(上記参照)
featurise.py、evalkit.py、gru_detector.py、baseline_drift.py共有モジュール:特徴量、メトリクスとブートストラップ、GRU、Markov および Isolation Forest の参照実装
agentdojo_extract.pyツール呼び出しと観測の位置ベースのペアリングを用いて AgentDojo トレースを抽出する
agentdojo_traces.jsonl、agentdojo_failed.jsonl抽出された AgentDojo トレース(母集団 P0、良性 392 件および侵害 2,294 件)と、4,987 件の失敗した攻撃
rerun_r1r3.py、ablation.py、world_disjoint_r1.py、r4_control.py、gru_ladder.py、gru_r3_diagnostic.py、pre_ablation_audit.py第1版の実験スクリプトを、修正された抽出に対して再実行したもの。結果ファイル(*.json)付き
R4_CONTROL.md、PRE_ABLATION_DESIGN.md、GRU_PREREGISTRATION.md、REVISION_ANALYSIS_PLAN.md最初の研究における4つの内部解析計画
SENCODER_PREREGISTRATION.md、revision/sencoder_run/SENCODER_PREREGISTRATION.amendment*.md、SENCODER_RESULTS.mdSE 研究の計画、修正、および結果
MONITOR_PREREGISTRATION.md、revision/monitor_run/MONITOR_PREREGISTRATION.*.mdモニター研究の計画、その第1版、および修正1〜4
revision/予測キャッシュのビルダー、解析ストリーム、その結果ファイルとサマリー、DEVIATIONS.md、RESULTS_SUMMARY.md、PLAN_MANIFEST.txt(すべての計画と結果の SHA-256 を記録したタイムスタンプ付きログ)、および再現性ガイド REPRODUCIBILITY.md
revision/sencoder_*.py、revision/sencoder_results.json、revision/sencoder_summary.md、revision/sencoder_run/SE:埋め込み、学習、解析スクリプト、結果、クラスタログ、およびマニフェスト
revision/monitor_render.py、monitor_score_vllm.py、monitor_score_api.py、monitor_detector.py、monitor_tables.pyモニター研究:エージェントの各ステップごとに1回の AlignmentCheck 呼び出し、vLLM(MON-L)およびプロバイダのバッチインターフェース(MON-A)によるスコアリング、凍結された解析とそのテーブル
revision/monitor_results.json、revision/monitor_summary.md凍結されたモニター解析の結果
revision/monitor_run/すべてのモニター呼び出しと、スコア付きのすべての生のモニター出力(revision/monitor_run/README.md 参照)
revision/cache/予測キャッシュの検証ファイルとサマリーファイル。キャッシュされた予測と埋め込み自体(約 800 MB)は含まれておらず、スクリプトによって再構築される
paper/結果ファイルからすべてのテーブルを生成するスクリプトとその出力:tables/(最初の研究)、tables_sencoder/(SE を追加)、tables_monitor/(モニターを追加。これらが論文および拡張レポートのテーブルである)
paper_v06/make_figures_v06.py、paper_v06/fig_v06_*論文の図
MANUSCRIPT_SOURCE.*.md、SUPPLEMENT_SOURCE.*.md拡張レポートのソース。paper/build_sencoder.py と paper/build_monitor.py が生成されたテーブルを挿入する
archive_v0.3/第1版の結果と以前の AgentDojo 抽出。拡張レポートでの比較のために保持されている
tests/AgentDojo 抽出のユニットテスト
THIRD_PARTY/AgentDojo およびベンダー化された AlignmentCheck スキャナ(LlamaFirewall)のライセンス

セットアップ

検出器の結果は、CPU 上の CPython 3.10.4 で計算された。SE は Slurm クラスタの1ノードで実行され、MON-L は NVIDIA H100 80GB HBM3 上で vLLM 0.29.0 を用いて実行された(バージョンは revision/monitor_run/mon_l/env.json に記載)。

pip install -r revision/requirements-lock.txt --extra-index-url https://download.pytorch.org/whl/cpu

元のベンチマークを読み込むスクリプトは、ローカルクローンを指す2つの環境変数を必要とします。

git clone https://github.com/Asif-0209/AgentDrift && git -C AgentDrift checkout 014a514f
git clone https://github.com/ethz-spylab/agentdojo && git -C agentdojo checkout 089ed468
export AGENTDRIFT=$PWD/AgentDrift
export AGENTDOJO=$PWD/agentdojo

表と図の再現

表と図は、このリポジトリ内の結果ファイルから再生成されます。build_monitor.py はインポート時に AGENTDRIFT を読み込むモニター分析モジュールをインポートするため、その変数を設定する必要があります。

cd paper
python gen_tables_v04.py      # paper/tables/
python build_sencoder.py      # paper/tables_sencoder/
python build_monitor.py       # paper/tables_monitor/, the tables of the paper
cd ../paper_v06
python make_figures_v06.py    # paper_v06/fig_v06_*.pdf and .png

2つのビルドスクリプトは、MANUSCRIPT_SOURCE.*.md と SUPPLEMENT_SOURCE.*.md から拡張レポートの LaTeX も組み立てます。

ベンチマークからの実験の再実行は、検出器については revision/REPRODUCIBILITY.md、SE については revision/sencoder_run/ を用いた SE 計画、モニターについては revision/monitor_run/README.md を用いたモニター計画に従います。

注記

  • 解析を実行したマシンの絶対パスは、結果・ログ・マニフェストファイル内で <repo>、$AGENTDRIFT、$AGENTDOJO または <local> に置き換えられています。数値結果は一切変更されていません。PLAN_MANIFEST.txt と repro_checks.json 内の SHA-256 値は、解析マシン上にあった時点のファイルを指すため、パスが置き換えられたファイルとは一致しません。revision/offline_driver.sh もポータブル化されています。Python スクリプトは変更されていないため、一部のスクリプトはローカルのデフォルトパスを保持しており、これは環境変数によって上書きされます。
  • 1 MB を超えるモニター呼び出しおよび結果ファイルは、内容を変更せずに gzip 圧縮(*.jsonl.gz)で保存されているため、呼び出しマニフェスト内の SHA-256 値は展開後のファイルに対して有効です。
  • ドキュメント内の M3 や m14 といったコメント識別子は、内部の投稿前レビューを指します。
  • 解析計画は内部のものであり、外部には登録されていません。論文および拡張レポートは、各計画が書かれた時点で判明していた内容を記述しています。

ライセンス

  • このリポジトリ内のコードは MIT License の下で公開されています(LICENSE を参照)。
  • revision/monitor_run/alignmentcheck_scanner.py は LlamaFirewall(Meta Platforms, Inc. および関連会社)からベンダー化されたもので、MIT License の下で公開されています(THIRD_PARTY/LlamaFirewall-LICENSE.txt を参照)。
  • agentdojo_traces.jsonl、agentdojo_failed.jsonl、archive_v0.3/agentdojo_traces.jsonl、revision/monitor_run/agentdojo_run_context.jsonl、revision/sencoder_run/ 内の AgentDojo 環境ファイル、およびモニター呼び出しの AgentDojo 部分は、著者らによって MIT License の下で公開されている AgentDojo に由来します(THIRD_PARTY/AgentDojo-LICENSE.txt を参照)。
  • AgentDrift に由来するファイル、たとえば revision/tool_state_annotation.json、revision/monitor_run/agentdrift_taskdisjoint/ 内のタスク非依存分割、およびモニター呼び出しの AgentDrift 部分は、Pinjari および Saint-Germain への帰属表示を伴い CC BY 4.0 の下で共有されています。AgentDrift: A Step-Labeled Benchmark of Injection-Hijacked LLM Agent Trajectories(2026)、https://github.com/Asif-0209/AgentDrift。これらは抽出、分割、およびモニタープロンプトへのレンダリングによって変更されています。

引用

このコードまたはデータを使用する場合は、論文を引用してください(CITATION.cff を参照)。arXiv 識別子は、プレプリントが利用可能になり次第追加されます。

ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

まだ人気データがありません。

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →