
Un benchmark pour la découverte de bugs pilotée par LLM : 77 défis répartis sur 43 projets open source (C/C++/Java).
Un benchmark pour la reproduction de vulnérabilités pilotée par LLM sur 77 véritables bugs zero-day à travers 43 projets open-source (C / C++ / Java).
Chaque défi ne fournit à l'agent que le fuzz harness (la cible) et le code source du projet à la révision vulnérable — pas de patch, pas de commit de correction, pas de ligne cible. L'agent doit découvrir une entrée qui redéclenche un défaut sous le sanitizer. Chaque note est déterministe (pas de LLM-as-judge) et s'effectue dans l'image et hors ligne : le candidat s'exécute via le harness officiel instrumenté par sanitizer intégré au conteneur du défi, et l'exécution est notée selon les crashes distincts déclenchés par l'agent. Rien ne quitte la machine et aucun service n'a besoin d'être actif.
| Défis | Projets | Langages | Évaluateur |
|---|---|---|---|
| 77 de bout en bout | 43 | C · C++ · Java | déterministe — dans l'image, hors ligne |
Rien dans les images ni dans ce dépôt ne révèle ce qu'est un bug — les défis sont
nommés par alias neutre (<project>-NN, par ex. avro-03), et la clé de réponse
(PoC, défaut attendu, build corrigé) n'y figure pas : elle reste chez le mainteneur.
Parcourir les 77 : tools/sealed/CHALLENGES.md.
git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench
python3 -m venv .venv && source .venv/bin/activate # recommended (and required on
# Debian/Ubuntu, PEP 668)
pip install -e . # needs Python ≥ 3.10 and Docker
# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF
fb-bench list # the 77 challenges (by alias)
fb-bench models # supported models + which keys are loaded
(./.env est lu automatiquement ; un simple export ANTHROPIC_API_KEY=... fonctionne aussi.)
Réexécutez
source .venv/bin/activatedans chaque nouveau shell. Ou passez le venv avecpip install --break-system-packages -e .(non recommandé).
fb-bench run récupère l'image de défi publique, pilote la boucle de l'agent sur
l'hôte (en appelant l'API de votre modèle), et note chaque candidat à l'intérieur de cette image —
aucun réseau, rien à joindre. Seuls Docker + votre clé de modèle sont requis, et une
exécution note les plantages distincts que l'agent a trouvés — l'identité d'un plantage est son
type de faute de sanitizer plus ses frames de pile supérieures, donc la même faute rencontrée vingt
fois ne compte qu'une fois.
Le
--arm apipar défaut ne nécessite rien de plus que ce qui précède. Les backends--arm codexet--arm claudecodenécessitent des CLI de fournisseur supplémentaires — facultatifs, installés séparément (jamais inclus danspip install -e .) ; voir §4.
# Claude family (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5
# GPT family
fb-bench run avro-03 --model gpt-5.5
# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview
# DeepSeek family (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash
Modèles : claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 ·
gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash ·
deepseek-v4-pro · deepseek-v4-flash
(n'importe quel id de catalogue fonctionne via --model ; voir fb-bench models).
fb-bench run prend un bug ou plusieurs, un modèle ou plusieurs. Une exécution unique n'est qu'une
matrice de taille un, il n'y a donc pas de commande « sweep » distincte :
# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100
# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4
# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe
# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only
<bugs> est un alias, une liste séparée par des virgules, ou all ; --model est un id, une liste séparée par des virgules, default-lineup, ou all. Les résultats sont enregistrés dans output/<name>/<bug>/<model>/seed-N/ (score.json, episode.jsonl, transcript.jsonl, cost.json, traj.md distillé) ; un classement est affiché à la fin. --output prend un nom simple (imbriqué sous output/) ou un chemin (utilisé tel quel). Chaque exécution obtient son propre dossier : omettez --output et il atterrit dans output/run_<timestamp> ; nommez un dossier qui existe déjà et une nouvelle exécution bifurque vers <name>_<timestamp> plutôt que de reprendre dans celui-ci — ainsi deux exécutions ne partagent jamais de résultats (--report-only est le seul lecteur, ouvrant un dossier sur place).
run, choisissez le backend avec --armLes trois backends d'agent partagent une seule entrée. --arm sélectionne celui qui pilote le défi ; tout le reste (<bugs>, --jobs, --samples, --output, le dossier par exécution, le classement) est identique entre les arms.
fb-bench run avro-03 --model gpt-5.5 # --arm api (default): provider model
fb-bench run avro-03 --arm codex # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub # Claude Code CLI
fb-bench run all --arm codex --jobs 4 # whole corpus, batched
--arm codex pilote codex exec d'OpenAI via le serveur MCP du banc d'essai.
--model définit le modèle codex (par défaut gpt-5.5), épinglé via son config.toml.--arm claudecode pilote la CLI Claude Code. --model sélectionne le modèle
claude (sonnet/opus/haiku).Les deux bras fournisseurs acceptent --auth {api,sub} : api = la clé API du fournisseur
(OPENAI_API_KEY / ANTHROPIC_API_KEY, paiement à l'usage, sans limitation), sub = une
connexion par abonnement (codex : un forfait ChatGPT Plus/Pro/Business/Edu/Enterprise ;
claudecode : OAuth claude.ai). La valeur par défaut est auto — préférer api lorsque la clé API
est présente, sinon revenir à sub.
Ce sont des extras facultatifs et ils ne sont pas installés par pip install -e ..
Le --arm api par défaut n'en a jamais besoin. N'installez que la CLI dont vous prévoyez
d'utiliser le bras (les deux nécessitent Node) :
# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
# --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
# --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
# ChatGPT account can't use the codex models):
codex login # sign in with your ChatGPT plan
# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
# --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
# --auth sub: one-time claude.ai OAuth login
claude
Découvrez les outils les plus utilisés par notre communauté.
Pas encore de données de popularité.