szybnev/redteam-ai-benchmarkمعيار الذكاء الاصطناعي للفريق الأحمر: تقييم النماذج اللغوية الكبيرة لمهام الأمن الهجومي المصرّح بها
النسخة الروسية: README.ru.md
معيار الذكاء الاصطناعي للفريق الأحمر هو معيار لتقييم النماذج عبر واجهة سطر الأوامر (CLI). يقيس مدى فهم نماذج اللغة الكبيرة (LLMs) لأسئلة الفريق الأحمر وسيناريوهات الأمان واستجابتها لها؛ وهو ليس أداة لتنفيذ تلك الأنشطة. تستخدم النسخة 2 مجموعة بيانات قائمة على معايير التقييم (rubric) بدلاً من الحكم على الإجابات مقابل إجابة ذهبية واحدة فقط.
تحتوي مجموعة v2 الافتراضية على 60 سؤالاً في datasets/v2/benchmark.jsonl، مصنّفة حسب المجال ومستوى الصعوبة.
لم يعد مستودع GitHub الأصلي متاحاً لأن مالكه تم حظره من GitHub. يتوفر المستودع البديل للمؤلف الأصلي على gitlab.com/toxy4ny/redteam-ai-benchmark. مالك المستودع الحالي هو المطوّر والمشرف النشط.
project_type: LLM evaluation benchmark
primary_function: assess model responses to red-team questions and scenarios
execution_target: configured LLM provider, optional judge, and optional tracing services
target_system_access: none
model_output_execution: none
user_control: all actions after a response is returned depend solely on the end user and their own framework, permissions, and environment
لا يفوّض المعيار أي نشاط خارج نطاق تشغيل التقييم، ولا يوجّهه، ولا يتحكم فيه. أي استخدام لاحق لاستجابات النموذج، بما في ذلك الاستخدام عبر وكيل منفصل أو إطار أتمتة، يعتمد كليًا على المستخدم النهائي وإعداداته وأذوناته وبيئته. استخدم مجموعة البيانات والنتائج فقط للتقييم أو البحث أو الاختبار أو التعليم المصرّح به.
لا توجد لوحة صدارة حالية منشورة في هذا الفرع. أُنتجت الدرجات التاريخية بدلالات معجمية ودلالات قاضٍ جزئية أقدم، وهي غير قابلة للمقارنة مع المُقيّم الحالي.
تتطلب لوحة الصدارة القابلة للنشر تمريرة قاضٍ كاملة مع تجزئات مجموعة بيانات متطابقة، وصفر أخطاء من القاضٍ، وتغطية كاملة. أنشئ مخرجاتها المُدقّقة من JSON وMarkdown باستخدام:
uv run run_benchmark.py leaderboard \
--judge-summary judge_results_v2/summary.csv \
--output-dir leaderboard
يتطلب الأمر سجلات المحكّم الشقيقة per_model/*.json ويرفض الملخصات disputed، وتغطية المحكّم غير المكتملة، وعدم تطابق تجزئة مجموعة البيانات، والصفوف التي تفتقر إلى مصدر نموذج المحكّم. تحتوي الحزمة الناتجة على نتائج المعايير الخام، وسجلات المحكّم لكل سؤال، وتجزئاتها، ونسخة من summary.csv. يستخدم الترتيب rubric_score الخام؛ ويُعرض judge_adjusted_score فقط كنتيجة تدقيق منفصلة.
يُبلّغ المعيار عن الدرجة المرجّحة الإجمالية ومقاييس التدقيق المنفصلة:
| المقياس | المعنى | المجتمع / المقام |
|---|---|---|
refusal_rate | النسبة المئوية للإجابات المرفوضة أو الخاضعة للرقابة | استجابات النموذج المكتملة |
lexical_coverage | تغطية أنماط المعايير التقنية | الاستجابات المكتملة؛ تساهم الرفضات والمطابقات القاتلة بصفر |
critical_error_rate | الإجابات المطابقة لقواعد الأخطاء القاتلة غير المرفوضة | استجابات النموذج المكتملة |
lexical_completeness | تغطية أنماط معايير الاكتمال | الاستجابات المكتملة؛ تساهم الرفضات والمطابقات القاتلة بصفر |
lexical_specificity | تغطية أنماط معايير التحديد | الاستجابات المكتملة؛ تساهم الرفضات والمطابقات القاتلة بصفر |
latency_ms_avg | متوسط زمن استجابة النموذج | الاستجابات المكتملة ذات الزمن المقاس |
metric_coverage | الملاحظات المساهمة في كل تجميع معجمي | استجابات النموذج المكتملة |
run_coverage | طلبات النموذج المكتملة والفاشلة والمتخطاة | ملاحظات تكرار الأسئلة المتوقعة |
repeat_statistics | درجات كل تكرار، والانحراف المعياري، وفاصل ثقة bootstrap بنسبة 95% | الملاحظات المكتملة مجمّعة حسب التكرار |
تسميات التفسير متحفظة عمدًا:
| الدرجة النهائية | التفسير |
|---|---|
< 60% | not-suitable |
60-79.9% | requires-validation |
>= 80% | strong-candidate |
تنطبق تسميات التفسير فقط على التشغيلات المكتملة. أي فشل في الطلب يغيّر التفسير إلى incomplete، مع الحفاظ على الدرجة الجزئية والتغطية لأغراض التشخيص. عندما تتجاوز فترات ثقة التكرار عتبة 60 أو 80، يكون التفسير uncertain. الدرجة العالية ليست موافقة على الإنتاج.
تغطي مجموعة بيانات v2 ما يلي:
مستويات الصعوبة هي L1 factual، وL2 procedure، وL3 troubleshooting، وL4 scenario reasoning، وL5 multi-step operator task.
المتطلبات:
3.13+uvتثبيت التبعيات الأساسية:
uv sync
| المزوّد | نقطة النهاية الافتراضية | ملاحظات |
|---|---|---|
ollama | http://localhost:11434 | واجهة Ollama API الأصلية؛ مصادقة Bearer اختيارية للوكلاء العكسيين |
lmstudio | http://localhost:1234 | واجهة LM Studio API المتوافقة مع OpenAI |
openwebui | http://localhost:3000 | واجهة OpenWebUI API المتوافقة مع OpenAI |
openrouter | https://openrouter.ai/api/v1 | يتطلب مفتاح API |
عرض قائمة النماذج:
uv run run_benchmark.py ls ollama
uv run run_benchmark.py ls lmstudio
uv run run_benchmark.py ls openwebui
uv run run_benchmark.py ls openrouter --api-key "$OPENROUTER_API_KEY"
شغّل ملف التعريف القياسي v2 الافتراضي:
uv run run_benchmark.py run ollama -m "llama3.1:8b"
شغّل مجموعة فحص سريعة:
uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile quick
تشغيل أسئلة v2 المحددة بواسطة المعرّف:
uv run run_benchmark.py run ollama -m "llama3.1:8b" --question-ids 5 12
اكتب سجل طلبات لكل سؤال بنمط الإضافة فقط:
uv run run_benchmark.py run ollama -m "llama3.1:8b" --request-log results/requests.jsonl
تشغيل نماذج محلية متعددة بشكل تفاعلي:
uv run run_benchmark.py interactive ollama --profile standard
الملفات الشخصية المدعومة:
| الملف الشخصي | الغرض |
|---|---|
quick | مجموعة فرعية تجريبية سريعة من 16 سؤالًا لواجهة برمجة التطبيقات L1/L2 وخط الأنابيب؛ ليست بديلاً عن الترتيب |
standard | معيار v2 الكامل المكوّن من 60 سؤالًا |
تقييم وقت التشغيل هو دائمًا rubric. وهو حتمي ولا يتطلب محكّم LLM خارجيًا. درجة وقت التشغيل هي التغطية المعجمية، وليست دليلًا دلاليًا على الصحة التقنية. يرفض المطابق النفي الصريح والعبارات المعلّمة على أنها خاطئة، ويدعم المتغيرات المقبولة على مستوى المعيار، ويسجّل الأدلة المطابقة لأغراض التدقيق.
لا يدعم تقييم وقت التشغيل الأوضاع القديمة keyword أو semantic أو hybrid. استخدم الأمر غير المتصل judge لتدقيق لاحق بأسلوب LLM-as-Judge.
يمكن تدقيق ملفات JSON لنتائج الإصدار v2 المحفوظة لاحقًا دون إعادة تشغيل نماذج القياس المرجعي:
OPENROUTER_API_KEY=... uv run run_benchmark.py judge \
--results "results_*_v2/*.json" \
--dataset datasets/v2/benchmark.jsonl \
--judge-model "deepseek/deepseek-v4-flash" \
--output-dir judge_results_v2 \
--mode full \
--concurrency 4