Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
ツール/GitHubGitHub/harry24k/cybiasbench
脆弱性分析ウェブアプリケーション悪用ペネトレーションテスト機械学習論文と研究学習と教育厳選リソースAIセキュリティラボと実践
GitHubharry24k/cybiasbench

CyBiasBench

サイバー攻撃シナリオにおけるLLMエージェントのバイアスのベンチマーク評価

リポジトリを見る
525日前未レビュー

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 究極のOSINTツールキット:調査グラフ、信頼度スコアリング、エイリアスファミリー、マップ、タイムライン、レポート。49個のモジュール、400以上のサイト、APIキー不要。

    546
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock ワンタップ実行アプリ(CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    プランナー/ワーカーエージェント、資産グラフと探索グラフ、MITMトラフィック記録、脆弱性の再テストを備えたLLMマルチエージェント自律ペネトレーションテストプラットフォーム。

    377
  • 4

    redforge

    cybersecurity91/redforge

    ブラウザ側のレッドチームツールキット。偵察、ペイロード生成、認証情報攻撃、暗号、エンコーディング、エンゲージメントレポート向けの102のオフラインツールを備えています。

    324
  • 5

    estorides

    grisuno/estorides

    99以上の無料OSINTソースを並列で集約し、エンティティをナレッジグラフに解決し、LLM支援の分析とともにSTIX 2.1、MISP、またはGraphMLでエクスポートします。

    269
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AIネイティブなサイバーセキュリティのためのアクションシステム。意図がガバナンスされた実行に変わり、証拠が運用記憶となり、すべての操作が次の操作を改善する。

    252

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →
共有

CyBiasBench

LLM オフェンシブセキュリティエージェントにおける行動バイアスのためのベンチマーク。 各レコードは、1つの意図的に脆弱なターゲットアプリケーションに対する1つのエージェントのセッションを要約したもので、攻撃が成功したかどうかだけでなく、エージェントが攻撃ファミリーをどのように選択し、順序付けし、固執したかを捉えています。

ステータス: NeurIPS 2026 Evaluations & Datasets Track 論文に付随する公開リリース。論文: https://arxiv.org/abs/2605.07830。 インタラクティブな結果ダッシュボード: https://trustworthyai.co.kr/CyBiasBench/。 Hugging Face 上のデータセット: https://huggingface.co/datasets/taeng0204/CyBiasBench。

収録内容

  • 5つのエージェント — claude、codex、gemini、kimi、glm
  • 3つの脆弱なターゲットアプリ — juice-shop、mlflow、vuln-shop
  • 2つの設定:
    • バイアス観察(自由選択): 4つのプロンプト条件 × 3回の反復 = 180 セッション。条件はプロンプトのガイダンス(guided / unguided)と 出力構造(structured / unstructured)を組み合わせています。
    • バイアス注入(指定ファミリー): 10の攻撃ファミリー × 3回の反復 = 450セッション。各セッションは1つの特定のファミリー (SQLi、CMDi、SSRF、IDOR など)に集中するよう求められます。
  • バイアス観察設定では1行あたり11列(カウント、セッション ASR、エントロピー、最も選択されたファミリー、Selection CR1、総トークン数)。 バイアス注入設定では1行あたり13列(コンプライアンス、 指定ファミリーの ASR、同じカウント)。
  • 長形式の補助テーブル(セッション×攻撃ファミリーごとの内訳付き)。
  • サニタイズ済みのリクエストレベルトレース(論文 Table 5 のスキーマ): 19,116行 (観察)+ 258,019行(注入)の HTTP リクエストで、攻撃ファミリーのラベル、 分類器のルール識別子、CAPEC / CWE マッピング、成功フラグ、 およびセッションごとのリクエスト順序を含みます。ボディ、ヘッダー、絶対 タイムスタンプ、および詳細なタイミングは除去されています。

論文では10の攻撃ファミリー(sqli、xss、cmdi、path_traversal、 auth_bypass、idor、ssrf、csrf、file_upload、info_disclosure)を分析しており、 これらは CAPEC + CWE + OWASP WSTG 分析を通じて、3つのターゲットアプリケーションに対して 最も直接的にテスト可能なファミリーとして選定されています。トレースレベルの分類器は OWASP CRS ルールファミリー 944 から11番目のラベル(deserialization)を継承していますが、 これは要求対象となることはなく、トレース行の <0.1% を占めるにすぎません。詳細は schema/glossary.md の「Attack-family scope」を参照してください。

リリース総計: 630件の集計レコード + 277,135行のトレース ≈ 48 MB。

解釈と限界

これらの測定値は、3つの Web ターゲット上で展開された5つのエージェントスナップショットを 記述したものであり、安定したモデルランキングではありません。割り当てはモデル、システムプロンプト、CLI、 ツール、およびターゲットとの相互作用を反映しています。脆弱性の有無、発見可能性、 実行難易度、およびリクエストコストもファミリーのシェアに影響します。この設計は 本質的な選好を特定するものでも、これらの要因を因果的に分離するものでもありません。

元の自動ラベルを用いたセッションブートストラップ分析では、ステアリング下での 集計平均セッション ASR に改善は見られません。これはすべてのエージェントについて 信頼できる低下を確立するものではありません。代替のリクエスト計数単位は エージェント間の分離を維持しつつ、その大きさを変化させます。より大規模での 意思決定価値、単純な多様性ヒューリスティクスに対する優位性、および未見の ターゲットへの汎化は未解決のままです。再現可能な分析については HOW_TO_REPRODUCE.md を参照してください。

クイックスタート

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

Or CSV / Parquet を直接読み込む:

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

同じリリースは Hugging Face でも公開されています。 datasets がインストールされている場合(pip install datasets):

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

6つのテーブルはそれぞれ独立した設定です。test 分割には完全なテーブルが含まれており、ホールドアウトされたパーティションを示すものではありません。

再現: 2段階の再現ガイドについては HOW_TO_REPRODUCE.md を参照してください(R1 は公開されたトレースからの再分析、R3 は benchmark/ を介した完全な再実験)。

レイアウト

CyBiasBench/
├── data/                                 # tabular release (CSV + Parquet)
│   ├── bias_observation_records.{csv,parquet}        180 rows
│   ├── bias_observation_family_long.{csv,parquet}    1,082 rows
│   ├── bias_observation_traces.{csv,parquet}         19,116 rows (request-level)
│   ├── bias_injection_records.{csv,parquet}          450 rows
│   ├── bias_injection_family_long.{csv,parquet}      1,597 rows
│   └── bias_injection_traces.{csv,parquet}           258,019 rows (request-level)
├── schema/
│   ├── glossary.md                       metric definitions
│   ├── columns_bias_observation.md
│   ├── columns_bias_injection.md
│   └── columns_traces.md
├── src/cybiasbench/                      python loader package
├── scripts/                              R1 re-analysis + R3 post-processing
│   ├── build_records.py                  final_stats JSON → aggregate CSV/Parquet
│   ├── build_traces.py                   labeled JSONL → request-level CSV/Parquet
│   ├── verify_consistency.py             sanity suite (+ --round-trip closure)
│   ├── reviewer_revisions.py             bootstrap CIs + request-unit robustness
│   ├── momentum_repro.py                 compliance correlations + estimator comparison
│   ├── agent_identification.py           random-forest agent identification
│   ├── temporal_repro.py                 response to failure in request order
│   ├── classify/                         OWASP CRS + victim-specific classifiers
│   ├── verify/                           response heuristics + session verifier
│   ├── aggregate/                        final_stats.json generator
│   └── jsd_repro/                        Prompt-stability JSD reproduction
│       ├── table2_jsd_robustness.py      paper Table 2 (within/between-agent JSD)
│       └── prompt_profile_stability.py   paper appendix per-condition JSD
├── benchmark/                            R3 re-experiment harness (Docker + agents)
│   ├── run.sh                            one invocation = one (agent, target, prompt) session
│   ├── agents/                           6 agent CLI Dockerfiles (CLI versions pinned)
│   ├── metrics/                          LiteLLM proxy + mitmproxy HTTP logger
│   ├── prompts/                          guided/unguided + 10 injection prompts
│   ├── output_formats/                   4 condition templates
│   └── victims/                          locally-built target images
├── HOW_TO_REPRODUCE.md                   R1 + R3 reproduction walkthrough
├── DATASHEET.md                          Gebru et al. datasheet
├── RESPONSIBLE_USE.md                    dual-use guidance
├── croissant.json                        Croissant metadata (core + RAI)
├── LICENSE                               CC BY-NC-ND 4.0 (data / docs)
├── LICENSE-CODE                          MIT (code)
└── dashboard/                            Next.js source of the interactive result dashboard

設定(論文の用語に対応)

ここでの2つの設定は、付属論文のセクション4および5に対応しています:

設定論文セクションレコード数設計
バイアス観察§4(「自由選択設定」)1805エージェント × 3ターゲット × 4条件 × 3反復
バイアス注入§54505エージェント × 3ターゲット × 10リクエストファミリー × 3反復

列名は論文のセッションサマリースキーマ(表4)に準拠しています: agent、target、condition、entropy、attack_total、session_asr、 compliance、requested_family など。完全なマッピングについては schema/glossary.md を参照してください。

メトリクス層

論文の表1に基づく3つの層:

  • バイアス — entropy($H(X)$)、selection_rate_pct(ロング形式では $\mathrm{Sel}_i$)、 most_selected_family、selection_cr1。
  • パフォーマンス — session_asr(セッションASR)、asr(ロング形式ではファミリーごとの $\mathrm{ASR}_i$)。
  • 効率性とロバスト性 — total_tokens(論文のTPS = total_tokens / attack_success)。 プロンプト安定性JSDは、公開されているロング形式の選択テーブルから scripts/jsd_repro/ によって再現されます(論文セクション4のエージェント内/エージェント間、および付録Bの条件ごと)。

レコードの再現

公開されているCSV / Parquetファイルは、実験ハーネスが出力する上流のJSON / JSONLアーティファクトから、 scripts/build_records.py(集計テーブル)および scripts/build_traces.py(リクエストレベルのトレース) によって生成されます。 上流のアーティファクトは、論文に付属する補足アーカイブにバンドルされています。

python scripts/build_records.py            # rebuild data/*records and *family_long
python scripts/build_traces.py             # rebuild data/*traces
python scripts/verify_consistency.py       # rows, domains, cross-table sums

# Strongest internal-consistency proof — re-derive records counts from the
# released traces (CSRF success-exclusion policy applied) and require an
# exact match. Closes the loop traces → policy → records:
python scripts/verify_consistency.py --round-trip
ツールをダウンロード