43 のオープンソースプロジェクト(C / C++ / Java)にまたがる 77 件の実際のゼロデイバグを対象とした、LLM 駆動の脆弱性再現のためのベンチマーク。
各チャレンジでは、エージェントにファズハーネス(ターゲット)と脆弱なリビジョンのプロジェクトソースのみが与えられる — パッチも、修正コミットも、対象行もない。エージェントは、サニタイザー下でフォールトを再トリガーする入力を発見しなければならない。すべての採点は決定的(LLM-as-judge なし)であり、イメージ内かつオフラインで行われる。候補はチャレンジコンテナに組み込まれた公式のサニタイザー計装済みハーネスを通して実行され、その実行はエージェントがトリガーした個別のクラッシュによって採点される。何もマシンの外に出ることはなく、起動していなければならないサービスもない。
| チャレンジ | プロジェクト | 言語 | グレーダー |
|---|---|---|---|
| 77 エンドツーエンド | 43 | C · C++ · Java | 決定的 — イメージ内、オフライン |
イメージ内にもこのリポジトリ内にも、バグが何であるかを明かすものは何もない — チャレンジは中立的なエイリアス(<project>-NN、例: avro-03)で命名され、解答キー(PoC、期待されるフォールト、修正済みビルド)はどちらにも含まれない。それはメンテナーが保持している。全 77 件を閲覧: tools/sealed/CHALLENGES.md。
git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench
python3 -m venv .venv && source .venv/bin/activate # recommended (and required on
# Debian/Ubuntu, PEP 668)
pip install -e . # needs Python ≥ 3.10 and Docker
# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF
fb-bench list # the 77 challenges (by alias)
fb-bench models # supported models + which keys are loaded
(./.env は自動的に読み込まれます。export ANTHROPIC_API_KEY=... を直接実行しても動作します。)
新しいシェルごとに
source .venv/bin/activateを再実行してください。またはpip install --break-system-packages -e .で venv をスキップできます(非推奨)。
fb-bench run は公開チャレンジイメージを取得し、ホスト上でエージェントループを駆動して(モデル API を呼び出し)、すべての候補をそのイメージ内で採点します —
ネットワークも、到達すべきものもありません。必要なのは Docker とモデルキーだけであり、実行はエージェントが見つけた個別のクラッシュを採点します — クラッシュの同一性はサニタイザのフォールト種別と上位スタックフレームで決まるため、同じフォールトが20回発生しても1回として数えられます。
デフォルトの
--arm apiは上記以外に何も必要としません。--arm codexと--arm claudecodeバックエンドは追加のベンダー CLI — オプションが必要で、別途インストールします(pip install -e .には決して含まれません)。詳細は §4 を参照してください。
# Claude family (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5
# GPT family
fb-bench run avro-03 --model gpt-5.5
# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview
# DeepSeek family (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash
モデル: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 ·
gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash ·
deepseek-v4-pro · deepseek-v4-flash
(任意のカタログIDが --model で使用可能。fb-bench models を参照)。
fb-bench run は1つのバグでも多数でも、1つのモデルでも多数でも受け付けます。単一の実行はサイズ1のマトリックスにすぎないため、別個の「sweep」コマンドは存在しません:
# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100
# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4
# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe
# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only
<bugs> は単一のエイリアス、カンマ区切りのリスト、または all です。--model は単一の id、カンマ区切りのリスト、default-lineup、または all です。結果は output/<name>/<bug>/<model>/seed-N/ に保存されます(score.json、episode.jsonl、transcript.jsonl、cost.json、蒸留された traj.md)。最後にリーダーボードが表示されます。--output は素の名前(output/ 配下にネストされる)またはパス(そのまま使用される)を受け取ります。すべての実行は独自のフォルダを取得します:--output を省略すると output/run_<timestamp> に保存されます。既に存在するフォルダを指定すると、新しい実行はそこに再開するのではなく <name>_<timestamp> としてフォークされます。したがって、2 つの実行が結果を共有することはありません(--report-only は唯一のリーダーであり、フォルダをその場で開きます)。
run で、--arm によりバックエンドを選択3 つのエージェントバックエンドは1 つのエントリを共有します。--arm はどれがチャレンジを駆動するかを選択します。それ以外(<bugs>、--jobs、--samples、--output、実行ごとのフォルダ、リーダーボード)はすべての arm で同一です。
fb-bench run avro-03 --model gpt-5.5 # --arm api (default): provider model
fb-bench run avro-03 --arm codex # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub # Claude Code CLI
fb-bench run all --arm codex --jobs 4 # whole corpus, batched
--arm codex は、ベンチ MCP サーバー上で OpenAI の codex exec を駆動します。
--model は codex モデルを設定し(デフォルトは gpt-5.5)、その config.toml を介して固定されます。--arm claudecode は Claude Code CLI を駆動します。--model は claude
モデル(sonnet/opus/haiku)を選択します。両ベンダーの arm は --auth {api,sub} を受け付けます:api = プロバイダーの API キー
(OPENAI_API_KEY / ANTHROPIC_API_KEY、従量課金、スロットルなし)、sub = サブスクリプション
サインイン(codex: ChatGPT Plus/Pro/Business/Edu/Enterprise プラン、
claudecode: claude.ai OAuth)。デフォルトは auto です — API キーが存在する場合は api を優先し、
そうでなければ sub にフォールバックします。
これらはオプションの追加機能であり、pip install -e . ではインストールされません。
デフォルトの --arm api ではこれらは一切不要です。実行予定の arm に対応する CLI のみを
インストールしてください(どちらも Node が必要です):
# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
# --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
# --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
# ChatGPT account can't use the codex models):
codex login # sign in with your ChatGPT plan
# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
# --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
# --auth sub: one-time claude.ai OAuth login
claude
エージェントには、脆弱なリビジョンのファズハーネスとプロジェクトのソースコードが渡される — 説明も、パッチも、修正コミットも、対象行もない。エージェントはクラッシュする入力をゼロから見つけなければならない。ターン予算は 100、エピソードごとの実時間は 1800 秒 であり、エピソードは最初のクラッシュで停止せず、いずれかの予算が尽きるまで、より多くの異なるクラッシュを探し続ける。
ビルドが判定されるサニタイザーと、そのサニタイザーの一般的な障害ファミリーの説明は開示される — 実際の監査者は常に自身のビルドからそれらを知っているからだ。具体的なクラッシュクラスは決して明示されない。それがテスト対象の能力だからである。
難易度で重み付けされた、異なるクラッシュ。 クラッシュの同一性は、そのサニタイザーの障害タイプと上位 3 つのアプリケーションフレームで決まるため、同じ障害に 20 回到達しても 1 回と数えられ、チャレンジのサンプル間での繰り返しは 1 つに集約される。
クラッシュは再現しなければならない。 すべての候補はイメージ内で 3 回 実行され、3 回すべてでフォールトし、かつ 毎回同じ場所に到達した場合にのみカウントされる。1 回の実行では、実際の欠陥と、レース、ASLR 依存のオーバーフロー、アロケータの偶然を区別できない。一部のラウンドでのみフォールトする入力は flaky_rounds として返され、毎回フォールトするが毎回異なる場所でフォールトする入力は flaky_location として返される。どちらもスコアにならず、run_poc_on_harness は crashed_rounds / total_rounds / distinct_crashes を報告するので、エージェントはその理由を確認できる。
各チャレンジは、凍結された テーブル(fbbench/report/difficulty.json)から、固定された 3 モデルのパネルで一度測定された難易度係数 D (1–5) を持つ。D は 2 つの事実から読み取られる。パネルのうちどれだけがそのチャレンジをクラッシュさせたか、そしてクラッシュした者に対してどれだけ自由にクラッシュを明け渡したか、である。
D5 nobody crashed it
D4 at most half the panel got in, and nobody got more than 2
D3 anything else
D2 at least half the panel got in, and somebody got 3 or more
D1 every model crashed it at least once
モデルのスコアは、実行した各チャレンジについて min(crashes, 3) × D を合計したものです。この上限により、単一の根本的な欠陥に対して8つのシグネチャを生み出す1つのチャレンジが、他のチャレンジを圧倒してしまうことを防ぎます。分母は実行スコープです: 7つのチャレンジからなる実行はその7つを分母として採点されるため、部分的なスイープでも実際の割合が報告されます — ただし、異なるチャレンジセットに対する2つの実行は比較できず、1回のスイープ内のモデルが異なるセットをカバーした場合にはサマリーページにその旨が表示されます。
この表は意図的に凍結されています。実行が、その後に採点に用いられるスケールを自ら導出してはならず、また暗黙に再計算すると過去のすべてのスコアが変わってしまいます。凍結後に追加されたチャレンジには係数が存在せず、スコア0としてではなく未採点として報告されます。
あるクラッシュが、チャレンジが想定して構築された当の欠陥であるかどうかを判断するには、解答キー — PoC、文書化されたフォールト、修正コミット時点のビルド — が必要ですが、それを同梱しているイメージはありません。したがって、実行から分かるのは、ある入力がクラッシュしたかどうか、そしてそのクラッシュが以前には発生しなかったものであるかどうかまでであり、正しい形でクラッシュしたかどうかは分かりません。