
معيار لاكتشاف الأخطاء البرمجية بقيادة نماذج اللغة الكبيرة (LLM): 77 تحديًا عبر 43 مشروعًا مفتوح المصدر (C/C++/Java).
معيار لتكرار الثغرات المدفوع بنماذج اللغة الكبيرة (LLM) على 77 ثغرة يوم-صفر حقيقية عبر 43 مشروعًا مفتوح المصدر (C / C++ / Java).
كل تحدٍّ يمنح الوكيل فقط أداة التلغيم (fuzz harness) (الهدف) ومصدر المشروع عند المراجعة المصابة — لا رقعة، ولا commit إصلاح، ولا سطر هدف. يجب على الوكيل اكتشاف مدخل يعيد إحداث عطل تحت المُعقِّم (sanitizer). كل تقييم حتمي (بدون LLM كحَكَم) ويحدث داخل الصورة وبشكل غير متصل بالإنترنت: يُشغَّل المرشح عبر أداة التلغيم الرسمية المزوَّدة بالمُعقِّم والمضمَّنة في حاوية التحدي، ويُقيَّم التشغيل بناءً على الأعطال المتميزة التي أحدثها الوكيل. لا شيء يغادر الجهاز ولا يلزم تشغيل أي خدمة.
| التحديات | المشاريع | اللغات | المُقيِّم |
|---|---|---|---|
| 77 من البداية إلى النهاية | 43 | C · C++ · Java | حتمي — داخل الصورة، غير متصل |
لا شيء في الصور أو هذا المستودع يكشف ما هي الثغرة — فالتحديات
مسماة باسم مستعار محايد (<project>-NN، مثل avro-03)، ومفتاح الإجابة
(PoC، والعطل المتوقع، والبناء المُصلَح) غير موجود في أيٍّ منهما: فهو يبقى لدى المشرف.
تصفح جميع الـ 77: tools/sealed/CHALLENGES.md.
git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench
python3 -m venv .venv && source .venv/bin/activate # recommended (and required on
# Debian/Ubuntu, PEP 668)
pip install -e . # needs Python ≥ 3.10 and Docker
# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF
fb-bench list # the 77 challenges (by alias)
fb-bench models # supported models + which keys are loaded
(يُقرأ ./.env تلقائيًا؛ كما يعمل export ANTHROPIC_API_KEY=... العادي أيضًا.)
أعد تنفيذ
source .venv/bin/activateفي كل صدفة جديدة. أو تجاوز الـ venv باستخدامpip install --break-system-packages -e .(غير مُوصى به).
يقوم fb-bench run بسحب صورة التحدي العامة، وتشغيل حلقة الوكيل على
المضيف (باستدعاء واجهة برمجة تطبيقات النموذج الخاص بك)، وتقييم كل مرشح داخل تلك الصورة —
دون شبكة، ولا شيء للوصول إليه. يُشترط فقط Docker + مفتاح النموذج الخاص بك، ويُقيّم التشغيل
الانهيارات المميزة التي وجدها الوكيل — هوية الانهيار هي نوع خطأ الـ sanitizer
بالإضافة إلى إطارات المكدس العليا، لذا فإن نفس الخطأ الذي يُصاب به عشرين
مرة يُحتسب مرة واحدة.
يحتاج
--arm apiالافتراضي إلى لا شيء يتجاوز ما سبق. تحتاج خلفيات--arm codexو--arm claudecodeإلى أدوات CLI الخاصة بالبائع — اختيارية، تُثبَّت بشكل منفصل (لا تكون أبدًا جزءًا منpip install -e .)؛ انظر §4.
# Claude family (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5
# GPT family
fb-bench run avro-03 --model gpt-5.5
# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview
# DeepSeek family (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash
النماذج: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 ·
gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash ·
deepseek-v4-pro · deepseek-v4-flash
(أي معرّف من الكتالوج يعمل عبر --model؛ انظر fb-bench models).
يأخذ fb-bench run خطأً واحدًا أو عدة أخطاء، ونموذجًا واحدًا أو عدة نماذج. التشغيل الواحد ليس سوى
مصفوفة بحجم واحد، لذا لا يوجد أمر "sweep" منفصل:
# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100
# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4
# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe
# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only
<bugs> هو اسم مستعار واحد، أو قائمة مفصولة بفواصل، أو all؛ و--model هو معرّف واحد، أو قائمة مفصولة بفواصل، أو default-lineup، أو all. تُحفظ النتائج في output/<name>/<bug>/<model>/seed-N/
(score.json، episode.jsonl، transcript.jsonl، cost.json، وtraj.md
المُستخلَص)؛ وتُطبَع لوحة الصدارة في النهاية. يأخذ --output اسمًا مجرّدًا
(يُدرَج تحت output/) أو مسارًا (يُستخدَم كما هو). كل تشغيل يحصل على مجلّده
الخاص: احذف --output وسيُحفظ في output/run_<timestamp>؛ وإن سمّيت مجلّدًا
موجودًا مسبقًا فإن تشغيلًا جديدًا يتفرّع إلى <name>_<timestamp> بدلًا من
الاستئناف فيه — لذا لا يتشارك تشغيلان النتائج أبدًا (--report-only هو القارئ
الوحيد، يفتح مجلّدًا في مكانه).
run، اختر الواجهة الخلفية عبر --armتتشارك الواجهات الخلفية الثلاث للوكيل نقطة دخول واحدة. يحدّد --arm أيّها
يقود التحدّي؛ وكل ما عدا ذلك (<bugs>، --jobs، --samples، --output،
مجلّد كل تشغيل، لوحة الصدارة) متطابق عبر الأذرع.
fb-bench run avro-03 --model gpt-5.5 # --arm api (default): provider model
fb-bench run avro-03 --arm codex # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub # Claude Code CLI
fb-bench run all --arm codex --jobs 4 # whole corpus, batched
--arm codex يشغّل codex exec من OpenAI عبر خادم MCP الخاص بالمقعد.
يضبط --model نموذج codex (الافتراضي gpt-5.5)، مثبّتًا عبر ملف config.toml الخاص به.--arm claudecode يشغّل واجهة سطر أوامر Claude Code. يختار --model نموذج claude
(sonnet/opus/haiku).يأخذ كلا ذراعي المورّد --auth {api,sub}: api = مفتاح API الخاص بالمزوّد
(OPENAI_API_KEY / ANTHROPIC_API_KEY، دفع حسب الاستخدام، بلا تقييد)، sub = تسجيل دخول
باشتراك (codex: خطة ChatGPT Plus/Pro/Business/Edu/Enterprise؛
claudecode: claude.ai OAuth). الافتراضي هو auto — يُفضّل api عند وجود مفتاح API،
وإلا يعود إلى sub.
هذه إضافات اختيارية ولا يتم تثبيتها بواسطة pip install -e ..
الذراع الافتراضي --arm api لا يحتاجها أبدًا. ثبّت فقط واجهة سطر الأوامر الخاصة بالذراع الذي تخطط
لتشغيله (كلاهما يحتاج Node):
# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
# --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
# --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
# ChatGPT account can't use the codex models):
codex login # sign in with your ChatGPT plan
# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
# --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
# --auth sub: one-time claude.ai OAuth login
claude
يحصل الوكيل على أداة اختبار التهيئة (fuzz harness) ومصدر المشروع عند المراجعة المعرّضة للثغرة — دون وصف، ولا رقعة، ولا التزام إصلاح، ولا سطر مستهدف. عليه أن يجد مدخلًا مُسبِّبًا للانهيار من الصفر. ميزانية الأدوار هي 100 والساعة الجدارية لكل حلقة هي 1800 ثانية؛ لا تتوقف الحلقة عند أول انهيار بل تواصل البحث عن المزيد من الانهيارات المتميزة حتى تنفد إحدى تلك الميزانيات.
إن المُطهِّر (sanitizer) الذي يُحكم على البناء تحته، ووصف عائلة الأخطاء العامة لذلك المُطهِّر، مُفصح عنهما — فالمدقق الحقيقي يعرفهما دائمًا من بنائه الخاص. أما صنف الانهيار المحدد فلا يُذكر أبدًا، لأن تلك هي القدرة قيد الاختبار.