
Бенчмарк для поиска ошибок с помощью LLM: 77 задач в 43 проектах с открытым исходным кодом (C/C++/Java).
Бенчмарк для воспроизведения уязвимостей на основе LLM на 77 реальных zero-day багах в 43 проектах с открытым исходным кодом (C / C++ / Java).
Каждое задание даёт агенту только fuzz harness (цель) и исходный код проекта на уязвимой ревизии — без патча, без фиксирующего коммита, без целевой строки. Агент должен найти входные данные, которые повторно вызывают сбой под санитайзером. Каждая оценка детерминирована (без LLM-as-judge) и выполняется внутри образа и офлайн: кандидат прогоняется через официальный harness с инструментированием санитайзером, встроенный в контейнер задания, а прогон оценивается по различным крашам, которые вызвал агент. Ничего не покидает машину, и никакой сервис не должен быть запущен.
| Задания | Проекты | Языки | Грейдер |
|---|---|---|---|
| 77 сквозных | 43 | C · C++ · Java | детерминированный — внутри образа, офлайн |
Ничто в образах или этом репозитории не раскрывает, в чём заключается баг — задания
названы по нейтральному псевдониму (<project>-NN, например avro-03), и ключ ответов
(PoC, ожидаемый сбой, исправленная сборка) отсутствует в обоих: он остаётся у мейнтейнера.
Просмотреть все 77: tools/sealed/CHALLENGES.md.
git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench
python3 -m venv .venv && source .venv/bin/activate # recommended (and required on
# Debian/Ubuntu, PEP 668)
pip install -e . # needs Python ≥ 3.10 and Docker
# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF
fb-bench list # the 77 challenges (by alias)
fb-bench models # supported models + which keys are loaded
(./.env читается автоматически; обычный export ANTHROPIC_API_KEY=... тоже работает.)
Повторно выполняйте
source .venv/bin/activateв каждой новой оболочке. Или пропустите venv с помощьюpip install --break-system-packages -e .(не рекомендуется).
fb-bench run загружает публичный образ с заданием, запускает цикл агента на
хосте (вызывая API вашей модели) и оценивает каждого кандидата внутри этого образа —
без сети, ничего не нужно достигать. Требуются только Docker + ключ вашей модели, а
запуск засчитывает различные падения, найденные агентом — идентичность падения — это
тип ошибки санитайзера плюс верхние кадры стека, поэтому одна и та же ошибка, встреченная двадцать
раз, считается один раз.
По умолчанию
--arm apiне требует ничего сверх вышеперечисленного. Бэкенды--arm codexи--arm claudecodeтребуют дополнительных CLI от вендоров — опционально, устанавливаемых отдельно (никогда не входят вpip install -e .); см. §4.
# Claude family (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5
# GPT family
fb-bench run avro-03 --model gpt-5.5
# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview
# DeepSeek family (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash
Модели: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 ·
gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash ·
deepseek-v4-pro · deepseek-v4-flash
(любой идентификатор из каталога работает через --model; см. fb-bench models).
fb-bench run принимает один баг или много, одну модель или много. Одиночный запуск — это просто
матрица размером один, поэтому отдельной команды «sweep» нет:
# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100
# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4
# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe
# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only
<bugs> — это один псевдоним, список через запятую или all; --model — это один id, список через запятую, default-lineup или all. Результаты сохраняются в output/<name>/<bug>/<model>/seed-N/ (score.json, episode.jsonl, transcript.jsonl, cost.json, дистиллированный traj.md); в конце выводится таблица лидеров. --output принимает либо простое имя (вложенное в output/), либо путь (используется как есть). Каждый запуск получает собственную папку: если опустить --output, результаты попадут в output/run_<timestamp>; если указать уже существующую папку, новый запуск создаст ответвление <name>_<timestamp>, а не продолжит работу в ней — так два запуска никогда не делят результаты (--report-only — единственный режим чтения, открывающий папку на месте).
run, выбор бэкенда через --armТри бэкенда агента используют одну точку входа. --arm выбирает, какой из них управляет испытанием; всё остальное (<bugs>, --jobs, --samples, --output, папка для каждого запуска, таблица лидеров) одинаково для всех режимов.
fb-bench run avro-03 --model gpt-5.5 # --arm api (default): provider model
fb-bench run avro-03 --arm codex # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub # Claude Code CLI
fb-bench run all --arm codex --jobs 4 # whole corpus, batched
--arm codex запускает codex exec от OpenAI через MCP-сервер bench.
--model задаёт модель codex (по умолчанию gpt-5.5), закрепляемую через его config.toml.--arm claudecode запускает Claude Code CLI. --model выбирает модель claude
(sonnet/opus/haiku).Оба варианта от вендоров принимают --auth {api,sub}: api = API-ключ провайдера
(OPENAI_API_KEY / ANTHROPIC_API_KEY, оплата по факту, без троттлинга), sub = вход по
подписке (codex: план ChatGPT Plus/Pro/Business/Edu/Enterprise;
claudecode: OAuth claude.ai). По умолчанию — auto — предпочитается api, если API-ключ
присутствует, иначе используется sub.
Это опциональные дополнения, и они не устанавливаются через pip install -e ..
Варианту по умолчанию --arm api они никогда не нужны. Устанавливайте только тот CLI, вариант которого планируете
запускать (обоим нужен Node):
# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
# --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
# --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
# ChatGPT account can't use the codex models):
codex login # sign in with your ChatGPT plan
# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
# --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
# --auth sub: one-time claude.ai OAuth login
claude