
Ein Benchmark für LLM-gesteuerte Fehlererkennung: 77 Herausforderungen in 43 Open-Source-Projekten (C/C++/Java).
Ein Benchmark für LLM-gesteuerte Schwachstellenreproduktion bei 77 echten Zero-Day-Bugs in 43 Open-Source-Projekten (C / C++ / Java).
Jede Challenge gibt dem Agenten nur den Fuzz-Harness (das Ziel) und den Projektquellcode in der verwundbaren Revision — keinen Patch, keinen Fix-Commit, keine Zielzeile. Der Agent muss eine Eingabe finden, die unter dem Sanitizer erneut einen Fehler auslöst. Jede Bewertung ist deterministisch (kein LLM-as-Judge) und erfolgt im Image und offline: Der Kandidat läuft durch den offiziellen, mit Sanitizer instrumentierten Harness, der in den Challenge-Container eingebaut ist, und der Lauf wird anhand der unterschiedlichen Abstürze bewertet, die der Agent ausgelöst hat. Nichts verlässt die Maschine und kein Dienst muss laufen.
| Challenges | Projekte | Sprachen | Bewerter |
|---|---|---|---|
| 77 End-to-End | 43 | C · C++ · Java | deterministisch — im Image, offline |
Nichts in den Images oder diesem Repository verrät, worin ein Bug besteht — die Challenges werden durch neutrale Aliasnamen benannt (<project>-NN, z. B. avro-03), und der Lösungsschlüssel (PoC, erwarteter Fehler, fester Build) ist in keinem von beiden enthalten: Er verbleibt beim Maintainer.
Alle 77 durchsuchen: tools/sealed/CHALLENGES.md.
git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench
python3 -m venv .venv && source .venv/bin/activate # recommended (and required on
# Debian/Ubuntu, PEP 668)
pip install -e . # needs Python ≥ 3.10 and Docker
# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF
fb-bench list # the 77 challenges (by alias)
fb-bench models # supported models + which keys are loaded
(./.env wird automatisch gelesen; ein einfaches export ANTHROPIC_API_KEY=... funktioniert ebenfalls.)
Führen Sie in jeder neuen Shell erneut
source .venv/bin/activateaus. Oder überspringen Sie die venv mitpip install --break-system-packages -e .(nicht empfohlen).
fb-bench run lädt das öffentliche Challenge-Image herunter, steuert die Agent-Schleife auf dem
Host (durch Aufruf Ihrer Modell-API) und bewertet jeden Kandidaten innerhalb dieses Images —
kein Netzwerk, nichts zu erreichen. Es werden nur Docker + Ihr Modellschlüssel benötigt, und ein
Lauf bewertet die verschiedenen Abstürze, die der Agent gefunden hat — die Identität eines Absturzes ist sein
Sanitizer-Fehlertyp plus seine obersten Stack-Frames, sodass derselbe Fehler, der zwanzig Mal
auftritt, nur einmal zählt.
Das Standard-
--arm apibenötigt nichts über das oben Genannte hinaus. Die Backends--arm codexund--arm claudecodebenötigen zusätzliche Hersteller-CLIs — optional, die separat installiert werden (niemals Teil vonpip install -e .); siehe §4.
# Claude family (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5
# GPT family
fb-bench run avro-03 --model gpt-5.5
# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview
# DeepSeek family (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash
Modelle: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 ·
gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash ·
deepseek-v4-pro · deepseek-v4-flash
(jede Katalog-ID funktioniert über --model; siehe fb-bench models).
fb-bench run nimmt einen Bug oder viele, ein Modell oder viele. Ein einzelner Lauf ist nur eine
Matrix der Größe eins, daher gibt es keinen separaten "Sweep"-Befehl:
# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100
# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4
# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe
# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only
<bugs> ist ein Alias, eine durch Kommas getrennte Liste oder all; --model ist eine ID, eine durch Kommas getrennte Liste, default-lineup oder all. Die Ergebnisse landen in output/<name>/<bug>/<model>/seed-N/ (score.json, episode.jsonl, transcript.jsonl, cost.json, destilliertes traj.md); am Ende wird eine Rangliste ausgegeben. --output akzeptiert einen bloßen Namen (verschachtelt unter output/) oder einen Pfad (wird unverändert verwendet). Jeder Lauf erhält seinen eigenen Ordner: Lässt man --output weg, landet er in output/run_<timestamp>; gibt man einen bereits existierenden Ordner an, verzweigt ein frischer Lauf zu <name>_<timestamp>, anstatt in ihn fortzusetzen — sodass zwei Läufe niemals Ergebnisse teilen (--report-only ist der einzige Leser, der einen Ordner direkt öffnet).
run, wähle das Backend mit --armDie drei Agent-Backends teilen sich einen Einstiegspunkt. --arm wählt aus, welches die Challenge steuert; alles andere (<bugs>, --jobs, --samples, --output, der Ordner pro Lauf, die Rangliste) ist über alle Arme hinweg identisch.
fb-bench run avro-03 --model gpt-5.5 # --arm api (default): provider model
fb-bench run avro-03 --arm codex # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub # Claude Code CLI
fb-bench run all --arm codex --jobs 4 # whole corpus, batched
--arm codex steuert OpenAI's codex exec über den Bench-MCP-Server.
--model legt das Codex-Modell fest (Standard gpt-5.5), gepinnt über seine config.toml.--arm claudecode steuert die Claude Code CLI. --model wählt das Claude-
Modell (sonnet/opus/haiku).Beide Vendor-Arms akzeptieren --auth {api,sub}: api = der Provider-API-Schlüssel
(OPENAI_API_KEY / ANTHROPIC_API_KEY, pay-go, kein Throttling), sub = eine
Subscription-Anmeldung (codex: ein ChatGPT-Plus/Pro/Business/Edu/Enterprise-Plan;
claudecode: claude.ai OAuth). Standard ist auto — bevorzuge api, wenn der API-Schlüssel
vorhanden ist, andernfalls falle auf sub zurück.
Dies sind optionale Extras und werden nicht durch pip install -e . installiert.
Der Standard---arm api benötigt sie nie. Installiere nur die CLI, deren Arm du ausführen
möchtest (beide benötigen Node):
# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
# --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
# --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
# ChatGPT account can't use the codex models):
codex login # sign in with your ChatGPT plan
# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
# --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
# --auth sub: one-time claude.ai OAuth login
claude