
LLM-संचालित बग खोज के लिए एक बेंचमार्क: 43 ओपन-सोर्स प्रोजेक्ट्स (C/C++/Java) में 77 चुनौतियाँ।
43 ओपन-सोर्स प्रोजेक्ट्स (C / C++ / Java) में 77 वास्तविक ज़ीरो-डे बग्स पर LLM-संचालित भेद्यता पुनरुत्पादन के लिए एक बेंचमार्क।
प्रत्येक चुनौती एजेंट को केवल fuzz harness (लक्ष्य) और भेद्य संशोधन पर प्रोजेक्ट स्रोत देती है — कोई पैच नहीं, कोई फिक्स कमिट नहीं, कोई लक्ष्य पंक्ति नहीं। एजेंट को ऐसा इनपुट खोजना होता है जो सैनिटाइज़र के अंतर्गत किसी फॉल्ट को फिर से ट्रिगर करे। प्रत्येक ग्रेड नियतात्मक (deterministic) है (कोई LLM-as-judge नहीं) और इमेज के भीतर तथा ऑफ़लाइन होता है: उम्मीदवार चुनौती कंटेनर में पहले से शामिल आधिकारिक सैनिटाइज़र-इंस्ट्रूमेंटेड harness के माध्यम से चलता है, और रन को एजेंट द्वारा ट्रिगर किए गए विशिष्ट क्रैश द्वारा स्कोर किया जाता है। कुछ भी मशीन से बाहर नहीं जाता और किसी सेवा को चालू रखने की आवश्यकता नहीं होती।
| चुनौतियाँ | प्रोजेक्ट्स | भाषाएँ | ग्रेडर |
|---|---|---|---|
| 77 एंड-टू-एंड | 43 | C · C++ · Java | नियतात्मक — इमेज के भीतर, ऑफ़लाइन |
इमेजों में या इस रिपॉज़िटरी में कुछ भी यह नहीं बताता कि बग क्या है — चुनौतियों को तटस्थ उपनाम (<project>-NN, जैसे avro-03) से नामित किया गया है, और उत्तर कुंजी (PoC, अपेक्षित फॉल्ट, फिक्स्ड बिल्ड) दोनों में से किसी में भी नहीं है: यह मेंटेनर के पास ही रहती है।
सभी 77 ब्राउज़ करें: tools/sealed/CHALLENGES.md।
git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench
python3 -m venv .venv && source .venv/bin/activate # recommended (and required on
# Debian/Ubuntu, PEP 668)
pip install -e . # needs Python ≥ 3.10 and Docker
# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF
fb-bench list # the 77 challenges (by alias)
fb-bench models # supported models + which keys are loaded
(./.env स्वचालित रूप से पढ़ा जाता है; एक सादा export ANTHROPIC_API_KEY=... भी काम करता है।)
प्रत्येक नए शेल में
source .venv/bin/activateफिर से चलाएँ। याpip install --break-system-packages -e .के साथ venv छोड़ दें (अनुशंसित नहीं)।
fb-bench run सार्वजनिक चुनौती इमेज खींचता है, होस्ट पर एजेंट लूप चलाता है
(आपके मॉडल API को कॉल करते हुए), और प्रत्येक उम्मीदवार को उसी इमेज के अंदर ग्रेड करता है —
कोई नेटवर्क नहीं, पहुँचने के लिए कुछ नहीं। केवल Docker + आपकी मॉडल कुंजी आवश्यक है, और एक
रन उन विशिष्ट क्रैश को स्कोर करता है जो एजेंट ने पाए — क्रैश की पहचान उसका
सैनिटाइज़र फॉल्ट प्रकार और उसके शीर्ष स्टैक फ़्रेम होते हैं, इसलिए एक ही फॉल्ट बीस
बार होने पर एक बार गिना जाता है।
डिफ़ॉल्ट
--arm apiको उपरोक्त के अलावा कुछ भी आवश्यक नहीं है।--arm codexऔर--arm claudecodeबैकएंड को अतिरिक्त वेंडर CLI — वैकल्पिक चाहिए, जो अलग से इंस्टॉल होते हैं (कभी भीpip install -e .का हिस्सा नहीं); देखें §4।
# Claude family (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5
# GPT family
fb-bench run avro-03 --model gpt-5.5
# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview
# DeepSeek family (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash
मॉडल: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 ·
gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash ·
deepseek-v4-pro · deepseek-v4-flash
(कोई भी कैटलॉग id --model के माध्यम से काम करता है; fb-bench models देखें)।
fb-bench run एक बग या कई, एक मॉडल या कई लेता है। एकल रन बस आकार एक का
मैट्रिक्स है, इसलिए कोई अलग "sweep" कमांड नहीं है:
# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100
# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4
# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe
# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only
<bugs> एक alias, एक comma list, या all है; --model एक id, एक comma list, default-lineup, या all है। परिणाम output/<name>/<bug>/<model>/seed-N/ में आते हैं (score.json, episode.jsonl, transcript.jsonl, cost.json, distilled traj.md); अंत में एक leaderboard प्रिंट होता है। --output एक bare name लेता है (जो output/ के अंतर्गत nested होता है) या एक path (जिसे जैसा है वैसा ही उपयोग किया जाता है)। हर run का अपना अलग folder होता है: --output छोड़ दें तो यह output/run_<timestamp> में आता है; ऐसा folder नाम दें जो पहले से मौजूद है तो एक नया run उसमें resume होने के बजाय <name>_<timestamp> के रूप में fork होता है — इसलिए दो runs कभी परिणाम साझा नहीं करते (--report-only एकमात्र reader है, जो folder को उसी स्थान पर खोलता है)।
run, --arm से backend चुनेंतीनों agent backends एक ही entry साझा करते हैं। --arm चुनता है कि कौन सा challenge को चलाता है; बाकी सब कुछ (<bugs>, --jobs, --samples, --output, प्रति-run folder, leaderboard) सभी arms में समान रहता है।
fb-bench run avro-03 --model gpt-5.5 # --arm api (default): provider model
fb-bench run avro-03 --arm codex # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub # Claude Code CLI
fb-bench run all --arm codex --jobs 4 # whole corpus, batched
--arm codex बेंच MCP सर्वर पर OpenAI के codex exec को चलाता है।
--model codex मॉडल सेट करता है (डिफ़ॉल्ट gpt-5.5), जिसे इसकी config.toml के माध्यम से पिन किया जाता है।--arm claudecode Claude Code CLI को चलाता है। --model claude
मॉडल (sonnet/opus/haiku) चुनता है।दोनों वेंडर आर्म्स --auth {api,sub} लेते हैं: api = प्रदाता API कुंजी
(OPENAI_API_KEY / ANTHROPIC_API_KEY, पे-गो, कोई थ्रॉटल नहीं), sub = एक
सब्सक्रिप्शन साइन-इन (codex: एक ChatGPT Plus/Pro/Business/Edu/Enterprise प्लान;
claudecode: claude.ai OAuth)। डिफ़ॉल्ट auto है — जब API कुंजी मौजूद हो तो api को प्राथमिकता दें, अन्यथा sub पर वापस जाएँ।
ये वैकल्पिक अतिरिक्त हैं और pip install -e . द्वारा इंस्टॉल नहीं किए जाते।
डिफ़ॉल्ट --arm api को इनकी कभी आवश्यकता नहीं होती। केवल उसी CLI को इंस्टॉल करें जिसका आर्म आप चलाने की योजना बनाते हैं (दोनों को Node की आवश्यकता है):
# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
# --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
# --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
# ChatGPT account can't use the codex models):
codex login # sign in with your ChatGPT plan
# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
# --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
# --auth sub: one-time claude.ai OAuth login
claude