FuzzingBrain Bench

معيار لتقييم إعادة إنتاج الثغرات بواسطة نماذج اللغة الكبيرة على 77 ثغرة حقيقية من نوع zero-day عبر 43 مشروعًا مفتوح المصدر (C / C++ / Java).

يمنح كل تحدٍّ للوكيل فقط أداة fuzz harness (الهدف) ومصدر المشروع عند النسخة المعرضة للثغرة — لا يوجد patch، ولا commit للإصلاح، ولا سطر مستهدف. يجب على الوكيل اكتشاف مدخلات تعيد إثارة خطأ تحت أداة sanitizer. كل درجة حتمية (بدون LLM كحَكَم) وتحدث داخل الصورة وبلا اتصال: يُشغَّل المرشح عبر الـ harness الرسمي المزوَّد بـ sanitizer والمدمج في حاوية التحدي، وتُحتسب النتيجة بناءً على الأعطال المميزة التي أثارها الوكيل. لا يغادر أي شيء الجهاز ولا يلزم تشغيل أي خدمة.

لا يكشف أي شيء في الصور أو هذا المستودع عن ماهية الثغرة — تُسمَّى التحديات بأسماء مستعارة محايدة (<project>-NN، مثل avro-03)، ومفتاح الإجابة (PoC، الخطأ المتوقع، البناء المُصلَح) ليس في أيٍّ منهما: بل يبقى مع المُشرف. تصفّح جميع الـ 77: tools/sealed/CHALLENGES.md.

بدء سريع

1. الإعداد

git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench

python3 -m venv .venv && source .venv/bin/activate   # موصى به (ومطلوب على
                                                     # Debian/Ubuntu، PEP 668)
pip install -e .                              # يتطلب Python ≥ 3.10 و Docker

# ضع مفتاح (مفاتيح) نموذجك في ./.env — يُحمَّل تلقائيًا في كل تشغيل، لا حاجة للتصدير
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF

fb-bench list                                 # التحديات الـ 77 (بالأسماء المستعارة)
fb-bench models                               # النماذج المدعومة + أي المفاتيح محمَّلة

(يُقرأ ./.env تلقائيًا؛ كما يعمل export ANTHROPIC_API_KEY=... العادي أيضًا.)

أعد تنفيذ source .venv/bin/activate في كل نافذة طرفية جديدة. أو تجاوز الـ venv باستخدام pip install --break-system-packages -e . (غير موصى به).

fb-bench run يسحب صورة التحدي العامة، ويُشغِّل حلقة الوكيل على المضيف (باستدعاء واجهة برمجة نموذجك)، ويقيّم كل مرشح داخل تلك الصورة — بدون شبكة، ولا شيء يمكن الوصول إليه. لا يلزم سوى Docker ومفتاح نموذجك، وتُحتسب النتيجة بناءً على الأعطال المميزة التي وجدها الوكيل — هوية العطل هي نوع خطأ الـ sanitizer بالإضافة إلى إطارات المكدس العلوية، لذا فإن نفس الخطأ الذي يُصاب عشرين مرة يُحتسب مرة واحدة.

الوضع الافتراضي --arm api لا يتطلب شيئًا سوى ما سبق. أما وضعا --arm codex و --arm claudecode فيتطلبان واجهات CLI إضافية من البائعين — اختيارية، تُثبَّت بشكل منفصل (وليست أبدًا جزءًا من pip install -e .)؛ انظر §4.

2. تشغيل تحدٍّ واحد بنموذج

# عائلة Claude  (haiku هو الأرخص/الأسرع؛ استبدله بـ opus/sonnet للتشغيلات الأصعب)
fb-bench run avro-03 --model claude-haiku-4-5

# عائلة GPT
fb-bench run avro-03 --model gpt-5.5

# عائلة Gemini
fb-bench run avro-03 --model gemini-3.1-pro-preview

# عائلة DeepSeek  (نقطة نهاية متوافقة مع OpenAI؛ تتطلب DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash

النماذج: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 · gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash · deepseek-v4-pro · deepseek-v4-flash (أي معرّف كتالوج يعمل عبر --model؛ انظر fb-bench models).

3. تشغيل العديد — نفس الأمر، واحد أو متعدد

fb-bench run يقبل ثغرة واحدة أو عدة، ونموذجًا واحدًا أو عدة. التشغيل الواحد هو مجرد مصفوفة بحجم واحد، لذا لا يوجد أمر "مسح" منفصل:

# التشغيل الكامل الموصى به: نموذج واحد على كامل المجموعة، مخرجات مسماة، PoCs
# محفوظة (الافتراضي) للفحص لاحقًا. يستمر الوكيل في البحث بعد أول عطل
# ما لم تمرر --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100

# التشكيلة المنسقة عبر النماذج، جميع التحديات، 4 خلايا بالتوازي
fb-bench run all --model default-lineup --output sweep1 --jobs 4

# ثغرتان، 3 عينات لكل منهما
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe

# فقط أعد طباعة لوحة الصدارة من تشغيل موجود
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only

<bugs> هو اسم مستعار واحد، أو قائمة مفصولة بفواصل، أو all؛ --model هو معرّف واحد، أو قائمة مفصولة بفواصل، أو default-lineup، أو all. تظهر النتائج في output/<name>/<bug>/<model>/seed-N/ (score.json، episode.jsonl، transcript.jsonl، cost.json، traj.md مقطَّر)؛ وتُطبع لوحة صدارة في النهاية. --output يقبل اسمًا بسيطًا (متداخلًا تحت output/) أو مسارًا (يُستخدم كما هو). كل تشغيل يحصل على مجلده الخاص: احذف --output وسيُحفظ في ؛ سمِّ مجلدًا موجودًا بالفعل وسيتفرع تشغيل جديد إلى بدلًا من الاستئناف فيه — لذا لا يتشارك تشغيلان النتائج أبدًا ( هو القارئ الوحيد، ويفتح مجلدًا في مكانه).

4. أوضاع الوكيل — نفس run، اختر الواجهة الخلفية بـ --arm

تتقاسم الواجهات الخلفية الثلاث للوكيل نقطة دخول واحدة. يحدد --arm أيُّها يقود التحدي؛ وكل شيء آخر (<bugs>، --jobs، --samples، --output، مجلد كل تشغيل، لوحة الصدارة) متطابق عبر الأذرع.

fb-bench run avro-03 --model gpt-5.5            # --arm api (الافتراضي): نموذج المزود
fb-bench run avro-03 --arm codex               # OpenAI codex CLI (الافتراضي gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub   # Claude Code CLI
fb-bench run all     --arm codex --jobs 4      # كامل المجموعة، على دفعات

• --arm codex يقود codex exec من OpenAI عبر خادم MCP الخاص بالمعيار. يحدد --model نموذج codex (الافتراضي gpt-5.5)، مثبَّتًا عبر config.toml الخاص به.
• --arm claudecode يقود واجهة Claude Code CLI. يختار --model نموذج claude (sonnet/opus/haiku).

يقبل ذراعا البائع --auth {api,sub}: api = مفتاح واجهة برمجة المزود (OPENAI_API_KEY / ANTHROPIC_API_KEY، دفع حسب الاستخدام، بدون تقييد)، sub = تسجيل دخول باشتراك (codex: خطة ChatGPT Plus/Pro/Business/Edu/Enterprise؛ claudecode: OAuth من claude.ai). الافتراضي هو تلقائي — يُفضَّل api عند وجود مفتاح الواجهة، وإلا فالعودة إلى sub.

اختياري — تثبيت واجهة CLI الخاصة بالبائع للذراع الذي تستخدمه

هذه إضافات اختيارية وليست مثبَّتة بواسطة pip install -e .. الوضع الافتراضي --arm api لا يحتاجها أبدًا. ثبِّت فقط واجهة CLI الخاصة بالذراع الذي تخطط لتشغيله (كلاهما يتطلب Node):

# --arm codex → OpenAI Codex CLI. سجّل الدخول مرة واحدة، مطابقًا لـ --auth الذي تستخدمه:
npm install -g @openai/codex
#   --auth api (الافتراضي عند تعيين OPENAI_API_KEY):
printenv OPENAI_API_KEY | codex login --with-api-key
#   --auth sub (يتطلب خطة ChatGPT Plus/Pro/Business/Edu/Enterprise؛ حساب
#   ChatGPT المجاني لا يمكنه استخدام نماذج codex):
codex login                                  # سجّل الدخول بخطة ChatGPT الخاصة بك

# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
#   --auth api (الافتراضي عند تعيين ANTHROPIC_API_KEY): لا شيء يجب فعله
#   --auth sub: تسجيل دخول OAuth لمرة واحدة من claude.ai
claude

المهمة دائمًا عمياء

يحصل الوكيل على أداة fuzz harness ومصدر المشروع عند النسخة المعرضة للثغرة — بدون وصف، وبدون patch، وبدون commit إصلاح، وبدون سطر مستهدف. يجب أن يجد مدخلًا يسبب الانهيار من الصفر. ميزانية الأدوار هي 100 والحد الزمني للحلقة الواحدة هو 1800 ثانية؛ لا تتوقف الحلقة عند أول انهيار بل تستمر في البحث عن المزيد من الأعطال المميزة حتى تنفد إحدى الميزانيتين.

أداة sanitizer التي يُقيَّم البناء بموجبها، ووصف العائلة العامة لأخطاء تلك الأداة، معلنان — فالمدقق الحقيقي يعرفها دائمًا من بنائه الخاص. أما فئة الانهيار المحددة فلا تُذكر أبدًا، لأنها هي القدرة قيد الاختبار.

ما تُحتسبه النتيجة

أعطال مميزة، مرجَّحة بالصعوبة. هوية العطل هي نوع خطأ الـ sanitizer بالإضافة إلى إطارات التطبيق الثلاثة العلوية، لذا فإن نفس الخطأ الذي يُصاب عشرين مرة يُحتسب مرة واحدة، وتتقلص التكرارات عبر عينات التحدي إلى واحدة.

يجب أن يتكرر العطل. يُشغَّل كل مرشح 3 مرات داخل الصورة ولا يُحتسب إلا إذا تعطل في الثلاث جميعًا و هبطت كل جولة في نفس المكان. لا يمكن لتنفيذ واحد أن يفصل عيبًا حقيقيًا عن سباق (race)، أو تجاوز سعة يعتمد على ASLR، أو مصادفة في المُخصِّص. المدخل الذي يتعطل في بعض الجولات فقط يعود كـ flaky_rounds؛ والذي يتعطل في كل جولة لكن في مكان مختلف في كل مرة يعود كـ flaky_location. لا يُحتسب أيٌّ منهما، ويُبلِّغ run_poc_on_harness عن crashed_rounds / total_rounds / distinct_crashes حتى يرى الوكيل السبب.

يحمل كل تحدٍّ معامل صعوبة D (1–5) من جدول مجمَّد (fbbench/report/difficulty.json)، قِيس مرة واحدة من لوحة ثابتة من 3 نماذج. يُستنتج D من حقيقتين: كم من اللوحة تسبب في انهيار التحدي أصلًا، ومدى سخاء التحدي في إعطاء الأعطال لمن فعل.

D5   لم يُسقطه أحد
D4   دخل نصف اللوحة على الأكثر، ولم يحصل أحد على أكثر من 2
D3   أي شيء آخر
D2   دخل نصف اللوحة على الأقل، وحصل أحدهم على 3 أو أكثر
D1   كل نموذج أسقطه مرة واحدة على الأقل

درجة النموذج هي min(crashes, 3) × D مجمَّعة عبر التحديات التي شغّلها. يمنع السقف تحدِّيًا واحدًا يُنتج ثمانية توقيعات لعيب أساسي واحد من طغيان البقية. المقام مرتبط بالنطاق: تشغيل من 7 تحديات يُقيَّم من أصل تلك الـ 7، لذا فإن المسح الجزئي ما زال يُبلِّغ عن كسر حقيقي — لكن تشغيلين على مجموعتين مختلفتين من التحديات غير قابلين للمقارنة، وتقول صفحة الملخص ذلك عندما تغطي النماذج في مسح واحد مجموعات مختلفة.

الجدول مجمَّد عن قصد. يجب ألا يستمد التشغيل المقياس الذي سيُقيَّم عليه لاحقًا، وإعادة حسابه بصمت ستحرّك كل درجة تاريخية. التحدي المضاف بعد التجميد ليس له معامل ويُبلَّغ عنه كغير مُقيَّم بدلًا من صفر.

تحديد ما إذا كان العطل هو العيب الذي بُني حوله التحدي يتطلب مفتاح إجابة — الـ PoC، والخطأ الموثَّق، وبناء عند commit الإصلاح — ولا تُرفق أي صورة واحدًا منها. لذا يمكن للتشغيل أن يخبرك أن مدخلًا ما انهار، وما إذا كان هذا الانهيار واحدًا لم يُنتجه من قبل، لكن ليس أنه انهار بالطريقة الصحيحة.

معاملات أخرى

fb-bench run <bugs> \
    --model gpt-5.5 \         # معرّف واحد، قائمة مفصولة بفواصل، default-lineup، أو all
    --max-turns 100 \         # ميزانية الأدوار لكل حلقة
    --timeout 1800 \          # ثواني الساعة الحائطية لكل حلقة
    --jobs 4 \                # تشغيل N خلية بالتوازي
    --samples 3 \             # تكرار كل (نموذج، ثغرة) N مرة
    --output my-experiment \  # النتائج تحت output/my-experiment/ (اسم أو مسار)
    --no-preserve-pocs \      # تُحفَظ الكتل المُقيَّمة افتراضيًا؛ مرر هذا لإسقاطها
    --stop-on-crash           # إنهاء عند أول انهيار؛ معطَّل افتراضيًا، لذا
                              # تستمر الحلقة في البحث عن أعطال مميزة إضافية

قيّم PoC مصنوعًا يدويًا أو خارجيًا (AFL++ / libFuzzer / honggfuzz) بدون أي LLM — المُقيِّم محايد تجاه البائعين:

fb-bench grade <alias> my-input.bin        # -v للأدلة

كيف يعمل (تحديات مختومة)

كل تحدٍّ هو صورة Docker عامة خالية من الإجابات. يتواصل الوكيل معها عبر خادم MCP (setup / exec / run_poc_on_harness)؛ يشغّل run_poc_on_harness() المرشح عبر harness الـ sanitizer ويعيد فقط ما طبعته الـ harness بالإضافة إلى ما إذا كان هذا الانهيار واحدًا أنتجته هذه الحلقة بالفعل — ولا يعيد أبدًا مفتاح إجابة.

docker.io/osanzas/fbbench-challenge-<alias>:latest      # صورة واحدة لكل تحدٍّ

صورة واحدة، وسم واحد، وهي تحكم على نفسها. تحمل harness الـ sanitizer المبني من المصدر الذي تشحنه أصلًا، وقواعد توقيع الانهيار، وخادم mcp-server مُجمَّع مسبقًا يمكنه التقييم، لذا لا يحتاج التشغيل إلى شبكة إطلاقًا. ما لا تحمله هو أي إجابة: لا PoC مرجعي، ولا خطأ متوقع، ولا بناء عند commit الإصلاح، ولا شيء يشير إلى مكان العيب — الـ harness مُجمَّع من مصدر تنشره الصورة على أي حال، لذا لا تساوي الصورة لمن يقرؤها أكثر مما يساويه ذلك المصدر أصلًا. بنية الختم والمُتحقِّق الخالي من الإجابات موجودان في tools/sealed/ — يمكن لأي شخص تدقيق عدم شحن مفتاح إجابة مع أي صورة:

python tools/sealed/verify_sealed.py --only avro-03

ما في هذا المستودع

bugs/<project>/<alias>/   تحدٍّ واحد: fuzz harness + بيانات وصفية محايدة
                          (المشروع، اللغة، sanitizer، واجهة الـ harness)
fbbench/                  واجهة CLI + محرك التشغيل + ذراعا codex / claude-code
tools/sealed/             فهرس التحديات + مُتحقِّق الصور الخالية من الإجابات

مصنوعات الإجابة (مدخلات PoC، مفاتيح الخطأ المتوقع، البناء عند commit الإصلاح) ليست في هذا المستودع وليست في الصور أيضًا — بل تبقى مع المُشرف. ولهذا يمكن للتشغيل أن يخبرك أن مدخلًا ما انهار، وما إذا كان هذا الانهيار واحدًا لم يُنتجه من قبل، لكن ليس أنه انهار بالطريقة الصحيحة.

الترخيص

MIT. انظر LICENSE.