
Um benchmark para descoberta de bugs orientada por LLM: 77 desafios em 43 projetos de código aberto (C/C++/Java).
Um benchmark para reprodução de vulnerabilidades orientada por LLM em 77 bugs zero-day reais em 43 projetos de código aberto (C / C++ / Java).
Cada desafio fornece ao agente apenas o fuzz harness (o alvo) e o código-fonte do projeto na revisão vulnerável — sem patch, sem commit de correção, sem linha alvo. O agente deve descobrir uma entrada que reative uma falha sob o sanitizer. Cada avaliação é determinística (sem LLM-as-judge) e ocorre na imagem e offline: o candidato é executado através do harness oficial instrumentado com sanitizer embutido no contêiner do desafio, e a execução é pontuada pelos crashes distintos que o agente provocou. Nada sai da máquina e nenhum serviço precisa estar ativo.
| Desafios | Projetos | Linguagens | Avaliador |
|---|---|---|---|
| 77 ponta a ponta | 43 | C · C++ · Java | determinístico — na imagem, offline |
Nada nas imagens ou neste repositório revela o que é um bug — os desafios são nomeados por alias neutro (<project>-NN, por exemplo avro-03), e o gabarito (PoC, falha esperada, build corrigido) não está em nenhum dos dois: ele permanece com o mantenedor.
Navegue por todos os 77: tools/sealed/CHALLENGES.md.
git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench
python3 -m venv .venv && source .venv/bin/activate # recommended (and required on
# Debian/Ubuntu, PEP 668)
pip install -e . # needs Python ≥ 3.10 and Docker
# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF
fb-bench list # the 77 challenges (by alias)
fb-bench models # supported models + which keys are loaded
(./.env é lido automaticamente; um simples export ANTHROPIC_API_KEY=... também funciona.)
Reexecute
source .venv/bin/activateem cada novo shell. Ou ignore o venv compip install --break-system-packages -e .(não recomendado).
fb-bench run baixa a imagem pública do desafio, conduz o loop do agente no
host (chamando a API do seu modelo) e avalia cada candidato dentro dessa imagem —
sem rede, nada a alcançar. Apenas Docker + a chave do seu modelo são necessários, e uma
execução pontua os crashes distintos que o agente encontrou — a identidade de um crash é o
tipo de falha do sanitizer mais os frames superiores da pilha, portanto a mesma falha atingida vinte
vezes conta uma vez.
O
--arm apipadrão não precisa de nada além do acima. Os backends--arm codexe--arm claudecodeprecisam de CLIs de fornecedor — opcionais, instalados separadamente (nunca fazem parte depip install -e .); consulte §4.
# Claude family (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5
# GPT family
fb-bench run avro-03 --model gpt-5.5
# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview
# DeepSeek family (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash
Modelos: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 ·
gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash ·
deepseek-v4-pro · deepseek-v4-flash
(qualquer id de catálogo funciona via --model; consulte fb-bench models).
fb-bench run aceita um bug ou vários, um modelo ou vários. Uma execução única é apenas uma
matriz de tamanho um, portanto não existe um comando separado de "sweep":
# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100
# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4
# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe
# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only
<bugs> é um alias, uma lista separada por vírgulas ou all; --model é um id, uma lista separada por vírgulas, default-lineup ou all. Os resultados ficam em output/<name>/<bug>/<model>/seed-N/ (score.json, episode.jsonl, transcript.jsonl, cost.json, traj.md destilado); um leaderboard é impresso no final. --output aceita um nome simples (aninhado em output/) ou um caminho (usado como está). Cada execução recebe sua própria pasta: omita --output e ela fica em output/run_<timestamp>; nomeie uma pasta que já existe e uma nova execução cria um fork <name>_<timestamp> em vez de retomar nela — assim duas execuções nunca compartilham resultados (--report-only é o único leitor, abrindo uma pasta no local).
run, escolha o backend com --armOs três backends de agente compartilham uma única entrada. --arm seleciona qual deles conduz o desafio; todo o resto (<bugs>, --jobs, --samples, --output, a pasta por execução, o leaderboard) é idêntico entre os arms.
fb-bench run avro-03 --model gpt-5.5 # --arm api (default): provider model
fb-bench run avro-03 --arm codex # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub # Claude Code CLI
fb-bench run all --arm codex --jobs 4 # whole corpus, batched
--arm codex aciona o codex exec da OpenAI sobre o servidor MCP do bench.
--model define o modelo do codex (padrão gpt-5.5), fixado via seu config.toml.--arm claudecode aciona a CLI do Claude Code. --model escolhe o modelo
claude (sonnet/opus/haiku).Ambos os arms de fornecedor aceitam --auth {api,sub}: api = a chave de API
do provedor (OPENAI_API_KEY / ANTHROPIC_API_KEY, pagamento por uso, sem limitação), sub = um
login de assinatura (codex: um plano ChatGPT Plus/Pro/Business/Edu/Enterprise;
claudecode: OAuth do claude.ai). O padrão é auto — prefira api quando a chave de API
estiver presente, caso contrário, recorra a sub.
Estes são extras opcionais e não são instalados por pip install -e ..
O --arm api padrão nunca precisa deles. Instale apenas a CLI cujo arm você planeja
executar (ambas precisam do Node):
# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
# --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
# --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
# ChatGPT account can't use the codex models):
codex login # sign in with your ChatGPT plan
# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
# --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
# --auth sub: one-time claude.ai OAuth login
claude