
Un benchmark per la scoperta di bug guidata da LLM: 77 sfide su 43 progetti open-source (C/C++/Java).
Un benchmark per la riproduzione di vulnerabilità guidata da LLM su 77 bug zero-day reali in 43 progetti open-source (C / C++ / Java).
Ogni sfida fornisce all'agente solo il fuzz harness (il target) e il codice sorgente del progetto alla revisione vulnerabile — nessuna patch, nessun commit di correzione, nessuna riga target. L'agente deve scoprire un input che riattivi un fault sotto il sanitizer. Ogni valutazione è deterministica (nessun LLM-as-judge) e avviene in-image e offline: il candidato viene eseguito attraverso l'harness ufficiale strumentato con sanitizer integrato nel container della sfida, e l'esecuzione viene valutata in base ai crash distinti attivati dall'agente. Nulla esce dalla macchina e nessun servizio deve essere attivo.
| Sfide | Progetti | Linguaggi | Grader |
|---|---|---|---|
| 77 end-to-end | 43 | C · C++ · Java | deterministico — in-image, offline |
Nulla nelle immagini o in questo repository rivela cos'è un bug — le sfide sono
denominate con un alias neutro (<project>-NN, ad es. avro-03), e la chiave delle risposte
(PoC, fault atteso, build corretta) non è presente in nessuno dei due: resta con il maintainer.
Sfoglia tutte le 77: tools/sealed/CHALLENGES.md.
git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench
python3 -m venv .venv && source .venv/bin/activate # recommended (and required on
# Debian/Ubuntu, PEP 668)
pip install -e . # needs Python ≥ 3.10 and Docker
# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF
fb-bench list # the 77 challenges (by alias)
fb-bench models # supported models + which keys are loaded
(./.env viene letto automaticamente; anche un semplice export ANTHROPIC_API_KEY=... funziona.)
Esegui di nuovo
source .venv/bin/activatein ogni nuova shell. Oppure salta il venv conpip install --break-system-packages -e .(non consigliato).
fb-bench run scarica l'immagine pubblica della challenge, esegue il loop dell'agente
sull'host (chiamando l'API del tuo modello) e valuta ogni candidato all'interno di quell'immagine —
nessuna rete, nulla da raggiungere. Sono richiesti solo Docker + la chiave del tuo modello, e una
esecuzione valuta i crash distinti trovati dall'agente — l'identità di un crash è il suo
tipo di fault del sanitizer più i suoi frame di stack principali, quindi lo stesso fault rilevato venti
volte conta una sola volta.
L'opzione predefinita
--arm apinon richiede nulla oltre a quanto sopra. I backend--arm codexe--arm claudecoderichiedono CLI dei vendor aggiuntive — opzionali, installate separatamente (mai parte dipip install -e .); vedi §4.
# Claude family (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5
# GPT family
fb-bench run avro-03 --model gpt-5.5
# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview
# DeepSeek family (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash
Modelli: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 ·
gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash ·
deepseek-v4-pro · deepseek-v4-flash
(qualsiasi id del catalogo funziona tramite --model; vedi fb-bench models).
fb-bench run accetta un bug o molti, un modello o molti. Una singola esecuzione è semplicemente una
matrice di dimensione uno, quindi non esiste un comando "sweep" separato:
# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100
# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4
# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe
# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only
<bugs> è un alias, una lista separata da virgole o all; --model è un id, una lista separata da virgole, default-lineup o all. I risultati finiscono in output/<name>/<bug>/<model>/seed-N/ (score.json, episode.jsonl, transcript.jsonl, cost.json, traj.md distillato); alla fine viene stampata una classifica. --output accetta un nome semplice (annidato sotto output/) o un percorso (usato così com'è). Ogni esecuzione ottiene la propria cartella: ometti --output e finirà in output/run_<timestamp>; assegna il nome di una cartella già esistente e una nuova esecuzione creerà <name>_<timestamp> invece di riprendere in quella cartella — così due esecuzioni non condividono mai i risultati (--report-only è l'unico lettore, che apre una cartella sul posto).
run, scegli il backend con --armI tre backend agente condividono un'unica voce. --arm seleziona quale di essi guida la sfida; tutto il resto (<bugs>, --jobs, --samples, --output, la cartella per esecuzione, la classifica) è identico tra gli arm.
fb-bench run avro-03 --model gpt-5.5 # --arm api (default): provider model
fb-bench run avro-03 --arm codex # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub # Claude Code CLI
fb-bench run all --arm codex --jobs 4 # whole corpus, batched
--arm codex guida codex exec di OpenAI sul server MCP del bench.
--model imposta il modello codex (predefinito gpt-5.5), fissato tramite il suo config.toml.--arm claudecode guida la CLI di Claude Code. --model seleziona il modello
claude (sonnet/opus/haiku).Entrambi gli arm dei vendor accettano --auth {api,sub}: api = la chiave API del provider
(OPENAI_API_KEY / ANTHROPIC_API_KEY, pay-go, senza limitazioni), sub = un
accesso tramite abbonamento (codex: un piano ChatGPT Plus/Pro/Business/Edu/Enterprise;
claudecode: OAuth di claude.ai). Il valore predefinito è auto — preferisce api quando la chiave API
è presente, altrimenti ricade su sub.
Queste sono estensioni opzionali e non vengono installate da pip install -e ..
L'--arm api predefinito non ne ha mai bisogno. Installa solo la CLI del cui arm prevedi
di eseguire (entrambe richiedono Node):
# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
# --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
# --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
# ChatGPT account can't use the codex models):
codex login # sign in with your ChatGPT plan
# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
# --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
# --auth sub: one-time claude.ai OAuth login
claude