fuzzingbrain/fuzzingbrain-benchA sealed benchmark for LLM-driven bug discovery: 77 challenges across 43 open-source projects (C/C++/Java). Each challenge is an answer-free Docker image with in-image grading — no patch, Poc or answer key ships.
LLM駆動の脆弱性再現のためのベンチマーク。43のオープンソースプロジェクト（C / C++ / Java）における77件の実在するゼロデイバグを対象としています。
各チャレンジでは、エージェントにファズハーネス（ターゲット）と、脆弱性のあるリビジョンでのプロジェクトソースのみが与えられます。パッチ、修正コミット、ターゲット行は一切提供されません。エージェントは、サニタイザの下で障害を再トリガーする入力を発見する必要があります。すべての評価は決定的（LLM-as-judgeではない）であり、イメージ内かつオフラインで行われます。候補はチャレンジコンテナに組み込まれた公式のサニタイザ計装ハーネスを実行され、エージェントがトリガーした個別のクラッシュによってスコアリングされます。マシンの外部にデータが送信されることはなく、稼働中のサービスも必要ありません。
| チャレンジ | プロジェクト | 言語 | 評価器 |
|---|---|---|---|
| 77 エンドツーエンド | 43 | C · C++ · Java | 決定的 — イメージ内、オフライン |
イメージやこのリポジトリ内のいずれにも、バグが何であるかを示す情報は含まれていません。チャレンジは中立的なエイリアス（<project>-NN、例: avro-03）で命名され、解答キー（PoC、期待される障害、修正済みビルド）はどちらにも含まれず、メンテナが保持します。
77件すべてを閲覧: tools/sealed/CHALLENGES.md
git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench
python3 -m venv .venv && source .venv/bin/activate # 推奨（Debian/Ubuntuでは必須、PEP 668）
pip install -e . # Python ≥ 3.10 と Docker が必要
# モデルキーを ./.env に配置 — 毎回の実行時に自動ロードされ、export は不要
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF
fb-bench list # 77チャレンジ（エイリアスで表示）
fb-bench models # サポートされるモデル + ロード済みキー
(./.env は自動的に読み込まれます。通常の export ANTHROPIC_API_KEY=... も機能します。)
新しいシェルごとに
source .venv/bin/activateを再実行してください。または、venvをスキップしてpip install --break-system-packages -e .（非推奨）を使用することもできます。
fb-bench run は公開チャレンジイメージをプルし、ホスト上でエージェントループを駆動し（モデルAPIを呼び出し）、各候補をそのイメージ内で評価します — ネットワーク不要、到達すべき外部サービスなし。必要なのはDockerとモデルキーのみで、実行はエージェントが見つけた個別のクラッシュをスコアリングします。クラッシュの同一性は、サニタイザの障害タイプと上位のスタックフレームによって決まるため、同じ障害を20回ヒットしても1回としてカウントされます。
デフォルトの
--arm apiは上記以外に何も必要としません。--arm codexと--arm claudecodeバックエンドは追加のベンダーCLI — オプションが必要で、別途インストールします（pip install -e .には含まれません）。§4 を参照してください。
# Claude ファミリー (haiku が最も安価/高速。難しい実行には opus/sonnet に切り替え)
fb-bench run avro-03 --model claude-haiku-4-5
# GPT ファミリー
fb-bench run avro-03 --model gpt-5.5
# Gemini ファミリー
fb-bench run avro-03 --model gemini-3.1-pro-preview
# DeepSeek ファミリー (OpenAI互換エンドポイント。DEEPSEEK_API_KEY が必要)
fb-bench run avro-03 --model deepseek-v4-flash
モデル: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 ·
gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash ·
deepseek-v4-pro · deepseek-v4-flash
(--model で任意のカタログIDが使用可能。fb-bench models を参照)
fb-bench run は1つのバグまたは多数、1つのモデルまたは多数を受け付けます。単一実行はサイズ1のマトリックスに過ぎないため、別個の「スイープ」コマンドはありません:
# 推奨されるフル実行: コーパス全体に対して1モデル、名前付き出力、PoC
# 保存（デフォルト）で後で検査可能。--stop-on-crash を渡さない限り、
# エージェントは最初のクラッシュ後も探索を続けます
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100
# 厳選されたクロスモデルロースター、全チャレンジ、4セル並列
fb-bench run all --model default-lineup --output sweep1 --jobs 4
# いくつかのバグ、各3サンプル
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe
# 既存の実行からリーダーボードを再表示するだけ
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only
<bugs> は1つのエイリアス、カンマ区切りリスト、または all。--model は1つのID、カンマ区切りリスト、default-lineup、または all。結果は output/<name>/<bug>/<model>/seed-N/ に保存されます（score.json、episode.jsonl、transcript.jsonl、cost.json、要約された traj.md）。最後にリーダーボードが表示されます。--output はベア名（output/ 配下にネスト）またはパス（そのまま使用）を受け付けます。各実行には独自のフォルダが割り当てられます: --output を省略すると output/run_<timestamp> に保存されます。既存のフォルダ名を指定すると、新しい実行はそのフォルダに再開するのではなく としてフォークされます — つまり、2つの実行が結果を共有することはありません（ のみがその場でフォルダを開く唯一の読み取り操作です）。
run で、--arm でバックエンドを選択3つのエージェントバックエンドは1つのエントリポイントを共有します。--arm がどれがチャレンジを駆動するかを選択します。その他すべて（<bugs>、--jobs、--samples、--output、実行ごとのフォルダ、リーダーボード）はアーム間で同一です。
fb-bench run avro-03 --model gpt-5.5 # --arm api (デフォルト): プロバイダモデル
fb-bench run avro-03 --arm codex # OpenAI codex CLI (デフォルト gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub # Claude Code CLI
fb-bench run all --arm codex --jobs 4 # コーパス全体、バッチ処理
--arm codex はベンチMCPサーバー上でOpenAIの codex exec を駆動します。
--model はcodexモデル（デフォルト gpt-5.5）を設定し、config.tomlで固定されます。--arm claudecode はClaude Code CLIを駆動します。--model はclaudeモデル
（sonnet/opus/haiku）を選択します。両ベンダーアームは --auth {api,sub} を受け付けます: api = プロバイダAPIキー
（OPENAI_API_KEY / ANTHROPIC_API_KEY、従量課金、スロットルなし）、sub = サブスクリプションサインイン（codex: ChatGPT Plus/Pro/Business/Edu/Enterprise プラン; claudecode: claude.ai OAuth）。デフォルトは auto — APIキーが存在する場合は api を優先し、それ以外は sub にフォールバックします。
これらはオプションの追加機能であり、pip install -e . ではインストールされません。
デフォルトの --arm api はこれらを必要としません。実行予定のアームのCLIのみをインストールしてください（両方ともNodeが必要）:
# --arm codex → OpenAI Codex CLI。使用する --auth に合わせて一度認証:
npm install -g @openai/codex
# --auth api (OPENAI_API_KEY が設定されている場合のデフォルト):
printenv OPENAI_API_KEY | codex login --with-api-key
# --auth sub (ChatGPT Plus/Pro/Business/Edu/Enterprise プランが必要。無料の
# ChatGPT アカウントでは codex モデルを使用できません):
codex login # ChatGPT プランでサインイン
# --arm claudecode → Claude Code CLI。
npm install -g @anthropic-ai/claude-code
# --auth api (ANTHROPIC_API_KEY が設定されている場合のデフォルト): 何もする必要はありません
# --auth sub: 一度だけ claude.ai OAuth ログイン
claude
エージェントには、ファズハーネスと脆弱性のあるリビジョンでのプロジェクトソースが与えられます — 説明、パッチ、修正コミット、ターゲット行は一切ありません。クラッシュする入力をゼロから見つける必要があります。ターン予算は 100、エピソードごとの壁時計時間は 1800 秒です。エピソードは最初のクラッシュで停止せず、予算のいずれかが尽きるまでより多くの個別クラッシュを探し続けます。
ビルドが評価されるサニタイザと、そのサニタイザの一般的な障害ファミリーの説明は開示されます — 実際の監査人は常に自身のビルドからそれらを知っています。特定のクラッシュクラスは決して明示されません。なぜなら、それがテスト対象の能力だからです。
難易度で重み付けされた個別クラッシュ。 クラッシュの同一性は、サニタイザの障害タイプと上位3つのアプリケーションフレームによって決まります。同じ障害に20回到達しても1回としてカウントされ、チャレンジのサンプル間での繰り返しも1つにまとめられます。
クラッシュは再現可能でなければなりません。 各候補はイメージ内で3回実行され、3回すべてで障害が発生し、かつ毎回同じ場所で発生した場合のみカウントされます。1回の実行では、実際の欠陥とレース、ASLR依存のオーバーフロー、アロケータの偶然を区別できません。一部のラウンドでのみ障害が発生する入力は flaky_rounds として返され、毎回障害が発生するが毎回異なる場所で発生するものは flaky_location として返されます。どちらもスコアリングされず、run_poc_on_harness は crashed_rounds / total_rounds / distinct_crashes を報告するため、エージェントはその理由を確認できます。
各チャレンジには、固定されたテーブル（fbbench/report/difficulty.json）からの難易度係数 D（1–5） が付与されます。これは固定の3モデルパネルから一度だけ測定されます。Dは2つの事実から読み取られます: パネルのうち何人がチャレンジをクラッシュさせたか、そしてクラッシュをどの程度自由に提供したか。
D5 誰もクラッシュさせなかった
D4 パネルの最大半数が侵入し、誰も2つ以上取得できなかった
D3 その他すべて
D2 パネルの少なくとも半数が侵入し、誰かが3つ以上取得した
D1 すべてのモデルが少なくとも1回クラッシュさせた
モデルのスコアは、実行したチャレンジ全体で min(crashes, 3) × D の合計です。キャップにより、単一の根本的な欠陥に対して8つのシグネチャを生み出す1つのチャレンジが他を圧倒するのを防ぎます。分母は実行スコープです: 7チャレンジの実行はその7つに対してスコアリングされるため、部分的なスイープでも実際の割合が報告されます — ただし、異なるチャレンジセットに対する2つの実行は比較できず、サマリーページは1つのスイープ内のモデルが異なるセットをカバーした場合にその旨を明示します。
テーブルは意図的に固定されています。実行は、その後スコアリングされるスケールを導出してはならず、静かに再計算するとすべての過去のスコアが移動します。固定後に追加されたチャレンジには係数がなく、スコア0ではなく未スコアとして報告されます。
クラッシュがチャレンジが構築された正しい欠陥であるかどうかを判断するには、解答キー — PoC、文書化された障害、修正コミットでのビルド — が必要ですが、どのイメージにも同梱されていません。したがって、実行は入力がクラッシュしたこと、およびそのクラッシュが以前に生成されていないものかどうかを伝えることはできますが、正しい方法でクラッシュしたかどうかは伝えられません。
fb-bench run <bugs> \
--model gpt-5.5 \ # 1つのID、カンマリスト、default-lineup、または all
--max-turns 100 \ # エピソードごとのターン予算
--timeout 1800 \ # エピソードごとの壁時計秒数
--jobs 4 \ # Nセルを並列実行
--samples 3 \ # 各 (モデル, バグ) をN回繰り返す
--output my-experiment \ # output/my-experiment/ 配下に結果（名前またはパス）
--no-preserve-pocs \ # 評価済みブロブはデフォルトで保持。これを渡すと破棄
--stop-on-crash # 最初のクラッシュで終了。デフォルトはオフで、
# エピソードはより多くの個別クラッシュを探し続ける
LLMなしで手作りまたは外部（AFL++ / libFuzzer / honggfuzz）のPoCを評価 — 評価器はベンダー中立です:
fb-bench grade <alias> my-input.bin # -v で証拠を表示
各チャレンジは公開された解答なしのDockerイメージです。エージェントはMCPサーバー（setup / exec / run_poc_on_harness）を介して通信します。run_poc_on_harness() は候補をサニタイザハーネスで実行し、ハーネスが出力したものと、そのクラッシュがこのエピソードで既に生成されたものかどうかのみを返します — 解答キーは決して返しません。
docker.io/osanzas/fbbench-challenge-<alias>:latest # チャレンジごとに1つのイメージ
1つのイメージ、1つのタグで、自己評価します。イメージには、同梱されているソースからビルドされたサニタイザ計装ハーネス、クラッシュシグネチャルール、評価可能なプリビルドのmcp-serverが含まれているため、実行にネットワークは一切不要です。含まれていないものは解答です: 参照PoC、期待される障害、修正コミットでのビルド、欠陥の場所を示すものは一切ありません — ハーネスはイメージが公開するソースからコンパイルされるため、イメージを読む人にとってはそのソース以上の価値はありません。封印アーキテクチャと解答なし検証器は tools/sealed/ にあります — 誰でもイメージに解答キーが同梱されていないことを監査できます:
python tools/sealed/verify_sealed.py --only avro-03
bugs/<project>/<alias>/ 1つのチャレンジ: ファズハーネス + 中立的なメタデータ
(プロジェクト、言語、サニタイザ、ハーネスインターフェース)
fbbench/ CLI + 実行エンジン + codex / claude-code アーム
tools/sealed/ チャレンジインデックス + 解答なしイメージ検証器
解答アーティファクト（PoC入力、期待される障害キー、修正コミットでのビルド）はこのリポジトリにもイメージにも含まれておらず、メンテナが保持します。そのため、実行は入力がクラッシュしたこと、およびそのクラッシュが以前に生成されていないものかどうかを伝えることはできますが、正しい方法でクラッシュしたかどうかは伝えられません。
MIT。LICENSE を参照してください。
<name>_<timestamp>--report-only