Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
FuzzingBrain-Bench — LLM駆動のバグ発見のためのベンチマーク: 43のオープンソースプロジェクト(C/C++/Java)にまたがる77の課題。 | Kitploit
ツール/GitHubGitHub/fuzzingbrain/fuzzingbrain-bench
動的分析 (サンドボックス)脆弱性分析ファジング学習と教育AIセキュリティラボと実践
GitHubfuzzingbrain/fuzzingbrain-bench

FuzzingBrain-Bench

LLM駆動のバグ発見のためのベンチマーク: 43のオープンソースプロジェクト(C/C++/Java)にまたがる77の課題。

リポジトリを見る
9310116日前未レビュー
共有
ウェブサイト

FuzzingBrain Bench

43 のオープンソースプロジェクト(C / C++ / Java)にまたがる 77 件の実際のゼロデイバグを対象とした、LLM 駆動の脆弱性再現のためのベンチマーク。

各チャレンジでは、エージェントにファズハーネス(ターゲット)と脆弱なリビジョンのプロジェクトソースのみが与えられる — パッチも、修正コミットも、対象行もない。エージェントは、サニタイザー下でフォールトを再トリガーする入力を発見しなければならない。すべての採点は決定的(LLM-as-judge なし)であり、イメージ内かつオフラインで行われる。候補はチャレンジコンテナに組み込まれた公式のサニタイザー計装済みハーネスを通して実行され、その実行はエージェントがトリガーした個別のクラッシュによって採点される。何もマシンの外に出ることはなく、起動していなければならないサービスもない。

チャレンジプロジェクト言語グレーダー
77 エンドツーエンド43C · C++ · Java決定的 — イメージ内、オフライン

イメージ内にもこのリポジトリ内にも、バグが何であるかを明かすものは何もない — チャレンジは中立的なエイリアス(<project>-NN、例: avro-03)で命名され、解答キー(PoC、期待されるフォールト、修正済みビルド)はどちらにも含まれない。それはメンテナーが保持している。全 77 件を閲覧: tools/sealed/CHALLENGES.md。


クイックスタート

1. セットアップ

git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench

python3 -m venv .venv && source .venv/bin/activate   # recommended (and required on
                                                     # Debian/Ubuntu, PEP 668)
pip install -e .                              # needs Python ≥ 3.10 and Docker

# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF

fb-bench list                                 # the 77 challenges (by alias)
fb-bench models                               # supported models + which keys are loaded

(./.env は自動的に読み込まれます。export ANTHROPIC_API_KEY=... を直接実行しても動作します。)

新しいシェルごとに source .venv/bin/activate を再実行してください。または pip install --break-system-packages -e . で venv をスキップできます(非推奨)。

fb-bench run は公開チャレンジイメージを取得し、ホスト上でエージェントループを駆動して(モデル API を呼び出し)、すべての候補をそのイメージ内で採点します — ネットワークも、到達すべきものもありません。必要なのは Docker とモデルキーだけであり、実行はエージェントが見つけた個別のクラッシュを採点します — クラッシュの同一性はサニタイザのフォールト種別と上位スタックフレームで決まるため、同じフォールトが20回発生しても1回として数えられます。

デフォルトの --arm api は上記以外に何も必要としません。--arm codex と --arm claudecode バックエンドは追加のベンダー CLI — オプションが必要で、別途インストールします(pip install -e . には決して含まれません)。詳細は §4 を参照してください。

2. モデルを使って1つのチャレンジを実行する

# Claude family  (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5

# GPT family
fb-bench run avro-03 --model gpt-5.5

# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview

# DeepSeek family  (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash

モデル: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 · gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash · deepseek-v4-pro · deepseek-v4-flash (任意のカタログIDが --model で使用可能。fb-bench models を参照)。

3. 多数実行 — 同じコマンドで1件でも多数でも

fb-bench run は1つのバグでも多数でも、1つのモデルでも多数でも受け付けます。単一の実行はサイズ1のマトリックスにすぎないため、別個の「sweep」コマンドは存在しません:

# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100

# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4

# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe

# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only

<bugs> は単一のエイリアス、カンマ区切りのリスト、または all です。--model は単一の id、カンマ区切りのリスト、default-lineup、または all です。結果は output/<name>/<bug>/<model>/seed-N/ に保存されます(score.json、episode.jsonl、transcript.jsonl、cost.json、蒸留された traj.md)。最後にリーダーボードが表示されます。--output は素の名前(output/ 配下にネストされる)またはパス(そのまま使用される)を受け取ります。すべての実行は独自のフォルダを取得します:--output を省略すると output/run_<timestamp> に保存されます。既に存在するフォルダを指定すると、新しい実行はそこに再開するのではなく <name>_<timestamp> としてフォークされます。したがって、2 つの実行が結果を共有することはありません(--report-only は唯一のリーダーであり、フォルダをその場で開きます)。

4. エージェントモード — 同じ run で、--arm によりバックエンドを選択

3 つのエージェントバックエンドは1 つのエントリを共有します。--arm はどれがチャレンジを駆動するかを選択します。それ以外(<bugs>、--jobs、--samples、--output、実行ごとのフォルダ、リーダーボード)はすべての arm で同一です。

fb-bench run avro-03 --model gpt-5.5            # --arm api (default): provider model
fb-bench run avro-03 --arm codex               # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub   # Claude Code CLI
fb-bench run all     --arm codex --jobs 4      # whole corpus, batched
  • --arm codex は、ベンチ MCP サーバー上で OpenAI の codex exec を駆動します。 --model は codex モデルを設定し(デフォルトは gpt-5.5)、その config.toml を介して固定されます。
  • --arm claudecode は Claude Code CLI を駆動します。--model は claude モデル(sonnet/opus/haiku)を選択します。

両ベンダーの arm は --auth {api,sub} を受け付けます:api = プロバイダーの API キー (OPENAI_API_KEY / ANTHROPIC_API_KEY、従量課金、スロットルなし)、sub = サブスクリプション サインイン(codex: ChatGPT Plus/Pro/Business/Edu/Enterprise プラン、 claudecode: claude.ai OAuth)。デフォルトは auto です — API キーが存在する場合は api を優先し、 そうでなければ sub にフォールバックします。

オプション — 使用する arm のベンダー CLI をインストールする

これらはオプションの追加機能であり、pip install -e . ではインストールされません。 デフォルトの --arm api ではこれらは一切不要です。実行予定の arm に対応する CLI のみを インストールしてください(どちらも Node が必要です):

# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
#   --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
#   --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
#   ChatGPT account can't use the codex models):
codex login                                  # sign in with your ChatGPT plan

# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
#   --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
#   --auth sub: one-time claude.ai OAuth login
claude

タスクは常にブラインドである

エージェントには、脆弱なリビジョンのファズハーネスとプロジェクトのソースコードが渡される — 説明も、パッチも、修正コミットも、対象行もない。エージェントはクラッシュする入力をゼロから見つけなければならない。ターン予算は 100、エピソードごとの実時間は 1800 秒 であり、エピソードは最初のクラッシュで停止せず、いずれかの予算が尽きるまで、より多くの異なるクラッシュを探し続ける。

ビルドが判定されるサニタイザーと、そのサニタイザーの一般的な障害ファミリーの説明は開示される — 実際の監査者は常に自身のビルドからそれらを知っているからだ。具体的なクラッシュクラスは決して明示されない。それがテスト対象の能力だからである。

実行のスコアリング

難易度で重み付けされた、異なるクラッシュ。 クラッシュの同一性は、そのサニタイザーの障害タイプと上位 3 つのアプリケーションフレームで決まるため、同じ障害に 20 回到達しても 1 回と数えられ、チャレンジのサンプル間での繰り返しは 1 つに集約される。

クラッシュは再現しなければならない。 すべての候補はイメージ内で 3 回 実行され、3 回すべてでフォールトし、かつ 毎回同じ場所に到達した場合にのみカウントされる。1 回の実行では、実際の欠陥と、レース、ASLR 依存のオーバーフロー、アロケータの偶然を区別できない。一部のラウンドでのみフォールトする入力は flaky_rounds として返され、毎回フォールトするが毎回異なる場所でフォールトする入力は flaky_location として返される。どちらもスコアにならず、run_poc_on_harness は crashed_rounds / total_rounds / distinct_crashes を報告するので、エージェントはその理由を確認できる。

各チャレンジは、凍結された テーブル(fbbench/report/difficulty.json)から、固定された 3 モデルのパネルで一度測定された難易度係数 D (1–5) を持つ。D は 2 つの事実から読み取られる。パネルのうちどれだけがそのチャレンジをクラッシュさせたか、そしてクラッシュした者に対してどれだけ自由にクラッシュを明け渡したか、である。

D5   nobody crashed it
D4   at most half the panel got in, and nobody got more than 2
D3   anything else
D2   at least half the panel got in, and somebody got 3 or more
D1   every model crashed it at least once

モデルのスコアは、実行した各チャレンジについて min(crashes, 3) × D を合計したものです。この上限により、単一の根本的な欠陥に対して8つのシグネチャを生み出す1つのチャレンジが、他のチャレンジを圧倒してしまうことを防ぎます。分母は実行スコープです: 7つのチャレンジからなる実行はその7つを分母として採点されるため、部分的なスイープでも実際の割合が報告されます — ただし、異なるチャレンジセットに対する2つの実行は比較できず、1回のスイープ内のモデルが異なるセットをカバーした場合にはサマリーページにその旨が表示されます。

この表は意図的に凍結されています。実行が、その後に採点に用いられるスケールを自ら導出してはならず、また暗黙に再計算すると過去のすべてのスコアが変わってしまいます。凍結後に追加されたチャレンジには係数が存在せず、スコア0としてではなく未採点として報告されます。

あるクラッシュが、チャレンジが想定して構築された当の欠陥であるかどうかを判断するには、解答キー — PoC、文書化されたフォールト、修正コミット時点のビルド — が必要ですが、それを同梱しているイメージはありません。したがって、実行から分かるのは、ある入力がクラッシュしたかどうか、そしてそのクラッシュが以前には発生しなかったものであるかどうかまでであり、正しい形でクラッシュしたかどうかは分かりません。

ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 究極のOSINTツールキット:調査グラフ、信頼度スコアリング、エイリアスファミリー、マップ、タイムライン、レポート。49個のモジュール、400以上のサイト、APIキー不要。

    755
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock ワンタップ実行アプリ(CVE-2026-43499)

    510
  • 3

    ARTEX

    baarai/artex

    プランナー/ワーカーエージェント、資産グラフと探索グラフ、MITMトラフィック記録、脆弱性の再テストを備えたLLMマルチエージェント自律ペネトレーションテストプラットフォーム。

    415
  • 4

    redforge

    cybersecurity91/redforge

    ブラウザ側のレッドチームツールキット。偵察、ペイロード生成、認証情報攻撃、暗号、エンコーディング、エンゲージメントレポート向けの102のオフラインツールを備えています。

    343
  • 5

    antifox

    antifox-ai/antifox

    偵察、攻撃対象領域の探索、エクスプロイト検証、証拠に基づくレポート提供を実行するAIマルチエージェント自律ペネトレーションテストプラットフォーム。

    259
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AIネイティブなサイバーセキュリティのためのアクションシステム。意図がガバナンスされた実行に変わり、証拠が運用記憶となり、すべての操作が次の操作を改善する。

    258

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →