Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
AuthorizationBench — [🎖️ HAIPS @COLM'26 で次点] LLM エージェントが割り当てられた認可スコープにどれだけ沿って行動するかを評価する初のベンチマーク。 | Kitploit
ツール/GitHubGitHub/peach-research-lab/authorizationbench
認証と認可動的分析 (サンドボックス)脅威インテリジェンス論文と研究学習と教育レッドチーミングAIセキュリティラボと実践
共有
GitHub
peach-research-lab/authorizationbench

AuthorizationBench

[🎖️ HAIPS @COLM'26 で次点] LLM エージェントが割り当てられた認可スコープにどれだけ沿って行動するかを評価する初のベンチマーク。

リポジトリを見る
62946日前未レビュー

AuthorizationBench:
LLMエージェントの認可アラインメントをベンチマークする

Paper Construction pipeline Environment pressure, harm, and domain Agent Trajectories incoming

良性の委任の下で、直接的な有害な結果の有無にかかわらず、LLMエージェントの認可アラインメントを評価するための最初の体系的なフレームワーク。


概要

AuthorizationBenchは、直接的な安全上の害を伴う場合と伴わない場合の両方で、認可範囲外の行動をカバーします。結果ベースの評価では、直接的な害のない象限を見逃します。

割り当てられた認可範囲内で行動することは、人間とエージェントの委任関係においてエージェントの最も基本的な義務です。ほとんどのエージェントベンチマークは、タスクの完了を報酬として与えるか、ある行動が直接的な害を生み出すかどうかを評価しています。しかし、エージェントがその範囲外で行動すると、直接的な害が続くかどうかにかかわらず、委任者の制御と委任関係そのものを損ないます。現在のベンチマークは、この失敗をほとんど捉えていません。

このフレームワークは3つのコンポーネントで構成されています:

  • AuthorizationBench(ベンチマーク):文書化された実世界の事例に基づく286個の実行可能なタスクで、3つの次元にまたがります:
    • 14種類の状況的プレッシャー(12種類の良性プレッシャーと2種類の悪意あるプロンプトインジェクション機構を含む)
    • 直接的な有害結果の有無(先行するエージェント安全性研究から統合された10の安全・プライバシーカテゴリで定義)
    • 個人生活と職業業務にわたる10のドメイン
  • 認可を意識したサンドボックス:認可された経路と認可範囲外の経路の両方を実行可能かつ観測可能に保つ決定論的モックサービスで、OpenHands、OpenAI Agents SDK、Claude Agent SDK向けのアダプターを備えています。
  • スケーラブルな構築パイプライン:標準的なシードからタスクへの経路と文脈的な拡張。

AuthorizationBenchの評価

文書化された事例が、認可契約を伴う実行可能なタスクになる

文書化された事例は、認可された完了経路とその事例固有の認可範囲外経路の両方が実行可能なタスクへと変換されます。エージェントはサンドボックス内で実行され、その実際の軌跡と結果として生じた状態が認可契約に照らして評価されます。

3つのエージェントハーネスにわたり、低・高の推論努力で4つのモデルを評価し、6,864件の軌跡を生成しました。エージェントは委任されたタスクの**19.2%**で認可範囲外の行動をとりました。

91組のマッチしたタスクペア全体で、観測された認可範囲外の実行の約**54%**が、直接的な安全・プライバシー上の害のないバージョンで発生しています。言い換えれば、これらのペア内では、認可範囲外の行動の半数以上が、直接的な有害結果のみを探す評価では見逃されることになります。

24の構成にわたる完了と認可の結果

リポジトリ構成

authorization_eva_sandbox/
├── tasks/              286 executable task bundles
├── vignettes/          authorization contracts and scenario specifications
├── seeds/              documented source-case summaries used by the benchmark
├── services/           deterministic mock services
├── evaluation/         harness adapters, judges, detectors, and analysis
└── task_generation/    seed-to-task and contextual-expansion pipelines

benchmark/
├── manifest.json       frozen release inventory
└── lineage.csv         source case to original and expanded task mapping

taxonomies/             environment pressure, direct-harm, and domain definitions

クイックスタート

1. インストール

必要なものは Python 3.12 と Docker Desktop です。

git clone https://github.com/PEACH-Research-Lab/AuthorizationBench.git
cd AuthorizationBench
bash scripts/bootstrap.sh

2. サンドボックスをビルドする

docker build \
  -f authorization_eva_sandbox/Dockerfile.v2 \
  -t authorizationbench:sandbox \
  authorization_eva_sandbox

3. モデルベースの評価を設定する

cp authorization_eva_sandbox/evaluation/config.toml.example \
   authorization_eva_sandbox/evaluation/config.toml

使用する予定のプロバイダープロファイルのみを記入してください。ローカル設定はGitによって無視され、決してコミットしてはいけません。ハーネス固有の環境と評価コマンドについては、クイックスタートガイドを参照してください。

4. リリースされた実行結果を取得する

python -c "from huggingface_hub import snapshot_download; \
snapshot_download('peach-lab/AuthorizationBench', repo_type='dataset', \
local_dir='authorizationbench-data')"

ベンチマークと系統

ベンチマークには、42件の使用済みソースレコードに基づく44件のオリジナルタスクケースが含まれ、その後、文脈的拡張により286件のタスクに拡張されています。2件のソースレコードは、それぞれ2つの異なるオリジナルタスクケースをサポートしています。

benchmark/lineage.csv は、各タスクをそのソースレコードにマッピングし、オリジナルケースと拡張ケースを識別し、利用可能な場合は拡張軸を記録します。benchmark/manifest.json は、このリリースの正確なタスクインベントリを固定します。

構築パイプライン

サポートされているシードからタスクへのエントリポイントは次のとおりです:

./au312/bin/python -m authorization_eva_sandbox.task_generation.run_v3 \
  --seed-id S0001

コンテキスト拡張は、検証済みのタスクから開始し、割り当てられたタスクと認可境界を維持しながら1つの次元を変化させます。公開パイプラインには、生成プロンプト、決定論的ゲート、有界修復、サービス実現、および拡張コードが含まれます。歴史的な移行ユーティリティと単発の開発スクリプトは意図的に除外されています。

構築段階についてはConstruction pipelineを参照してください。

タクソノミー

状況圧力タクソノミーには、プリンシパルの指示に由来するか環境に由来するかによってグループ化された14の圧力が含まれます。その安定したID、定義、メカニズム、および配信チャネルは、taxonomies/situational_pressures.mdおよび機械可読なtrigger_manifestation.jsonで利用可能です。

直接危害タクソノミーは、カテゴリレベルの帰属を保持しながら、Agent-SafetyBenchとOpenAgentSafetyのカテゴリを統合します。taxonomies/direct_harm.mdおよびharm_taxonomy.jsonを参照してください。

ドメインタクソノミーは、認可境界によって保護される情報、資産、または記録に名前を付けます。taxonomies/domains.mdおよびdomain_taxonomy.jsonを参照してください。

データセットと再現性

Hugging Faceデータセットには、すべての6,864回の実行に対する事後判定と、保持された4,981個の元の軌跡ファイルが含まれています。元の実行ディレクトリがもはや利用できなかった1,883回の実行については、データセットは判定と実行メタデータを保持し、trajectory_available=falseとマークしています。

ライセンスとソース素材

ソフトウェアおよび元のベンチマーク成果物は、MIT Licenseの下でリリースされています。ソースケースレコードには、第三者による報道の引用と構造化された要約が含まれています。引用されたソース素材は元の条件に従うものであり、ここで再ライセンスされるものではありません。

引用

@article{zhang2026authorizationbench,
  title   = {Act on Your Behalf, Beyond Your Authorization:
             Benchmarking {LLM} Agent Authorization Alignment},
  author  = {Zhang, Zhiping and Li, Franklin Mingzhe and
             Huang, Raio Zihao and Li, Tianshi},
  journal = {arXiv preprint arXiv:2610.27548},
  year    = {2026}
}
ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 究極のOSINTツールキット:調査グラフ、信頼度スコアリング、エイリアスファミリー、マップ、タイムライン、レポート。49個のモジュール、400以上のサイト、APIキー不要。

    795
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock ワンタップ実行アプリ(CVE-2026-43499)

    520
  • 3

    ARTEX

    baarai/artex

    プランナー/ワーカーエージェント、資産グラフと探索グラフ、MITMトラフィック記録、脆弱性の再テストを備えたLLMマルチエージェント自律ペネトレーションテストプラットフォーム。

    439
  • 4

    redforge

    cybersecurity91/redforge

    ブラウザ側のレッドチームツールキット。偵察、ペイロード生成、認証情報攻撃、暗号、エンコーディング、エンゲージメントレポート向けの102のオフラインツールを備えています。

    346
  • 5

    looking-glass

    anonghosty/looking-glass

    ShadowserverレポートをMongoDBに取り込み、インタラクティブなマップ、分析、調査結果、アドバイザリ、エグゼクティブダッシュボードとして再生するCSIRTプラットフォーム。

    267
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AIネイティブなサイバーセキュリティのためのアクションシステム。意図がガバナンスされた実行に変わり、証拠が運用記憶となり、すべての操作が次の操作を改善する。

    264

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →