mdniloykhan/jailbreak-eval-7llmsشفرة بعنوان "Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models"
الكود والمطالبات والنتائج الخاصة بـ:
التقييم المنهجي لهجمات كسر الحماية العدائية والدفاعات عبر سبعة نماذج لغوية كبيرة Md. Robiul Islam Niloy, Abu Sayed Md. Mostafizur Rahaman. Md. Robiul Islam Niloy: قسم علوم الحاسوب والهندسة، جامعة BRAC، بنغلاديش. Abu Sayed Md. Mostafizur Rahaman: قسم علوم الحاسوب والهندسة، جامعة Jahangirnagar، بنغلاديش. مخطوطة قيد الإعداد لـ IEEE Transactions on Information Forensics and Security (لم تُقدَّم بعد).
الحالة: النتائج مؤقتة. الحَكَم الأساسي هو معيار تقييم قائم على نموذج لغوي كبير لم يُتحقَّق منه بعد مقابل تصنيفات بشرية. الحَكَم القائم على القواعد به عيوب معروفة (انظر المشكلات المعروفة).
README.md
LICENSE
paper/
tifs_paper_v12.tex manuscript source
prompts/
expanded_prompts.json 250 attack prompts (50 per family, 5 families)
scripts/
phase1_expanded.py main experiment: 7 models x 250 prompts via Ollama
phase3_defenses.py defense experiments (first 10 obfuscation + 10 roleplay prompts)
judge_validation_v2.py content judge (phi4 rubric), resumable
rejudge_expanded.py rule-based re-scoring with corrected refusal matching
make_all_figures.py builds all five figures
results/
expanded/ one CSV per model: 250 prompts, truncated responses, rule-based label
defense/ defense run outputs and summary
judge/ agreement_report.txt and corrected_asr.txt
figures/ the five PDFs used in the manuscript
يتم تخزين الردود مبتورة عند 500 حرف. لا تُضمَّن أوراق الفحص البشري ومفاتيحها ومخرجات المُحكِّم الكاملة (التي تكرر نص الرد).
مسحوبة من مكتبة Ollama:
| النموذج | وسم Ollama | المعاملات |
|---|---|---|
| Llama-3-8B-Instruct | llama3:8b | 8B |
| Llama-3.1-8B-Instruct | llama3.1:8b | 8B |
| Llama-3.2-3B-Instruct | llama3.2:3b | 3B |
| Mistral-7B-Instruct | mistral | 7B |
| Qwen2.5-7B-Instruct | qwen2.5:7b | 7B |
| Gemma2-9B-Instruct | gemma2:9b | 9B |
| Phi-4-14B | phi4:14b | 14B |
| مُحكِّم معايير phi4 | phi4:14b | 14B |
تم تشغيل Llama Guard 3 أثناء التطوير لكن مخرجاته لم تكن قابلة للاستخدام، لذا فهو ليس جزءًا من أي نتيجة مُبلَّغ عنها.
يعني "الضرر" أن مُحكِّم المحتوى صنَّف الرد بأنه ضار (HARMFUL) أو جزئي (PARTIAL). ويُعرض تصنيف HARMFUL وحده للمقارنة.
| النموذج | معدل الضرر (%) | HARMFUL فقط (%) |
|---|---|---|
| Mistral-7B | 62.0 | 8.8 |
| Llama-3.2-3B | 30.8 | 1.2 |
| Qwen2.5-7B | 29.2 | 1.2 |
| Gemma2-9B | 26.0 | 2.0 |
| Phi-4-14B | 20.0 | 2.8 |
| Llama-3.1-8B | 18.4 | 0.4 |
| Llama-3-8B | 17.2 | 1.6 |
| مجمَّع | 29.1 | 2.6 |
حسب عائلة الهجوم (مجمَّع): التمويه 62.3 (HARMFUL فقط 7.1)، التأطير الافتراضي 53.4، لعب الأدوار 14.0، التجاوز 8.0، المباشر 7.7.
التمويه هو أعلى عائلة مجمَّعة. التأطير الافتراضي هو أعلى عائلة لثلاثة نماذج (Mistral-7B، Llama-3.2-3B، Qwen2.5-7B)؛ والتمويه هو الأعلى أو متعادل لأربعة.
حجم النموذج: سبيرمان ρ = −0.64، p = 0.12، n = 7 (غير دال).
اختبارات مان-ويتني الزوجية (غير مصحَّحة): 14 من 21 زوجًا تختلف عند p < 0.05. يختلف Mistral-7B اختلافًا دالًا عن Llama-3.2-3B وQwen2.5-7B (p < 0.001).
معدل نجاح الهجوم (ASR) الإجمالي وفق المُحكِّم القائم على القواعد (jailbreak_success في ملفات CSV). هذه الأرقام غير موثوقة للأسباب المذكورة تحت المشكلات المعروفة.
| النموذج | ASR القائم على القواعد (%) |
|---|---|
| Llama-3.1-8B | 40.8 |
| Mistral-7B | 39.6 |
| Llama-3.2-3B | 39.6 |
| Qwen2.5-7B | 22.4 |
| Gemma2-9B | 18.4 |
| Llama-3-8B | 16.8 |
| Phi-4-14B | 11.2 |
وفق المُحكِّم القائم على القواعد، يبدو Llama-3.1-8B الأكثر عرضة للخطر ويبدو Llama-3-8B وLlama-3.1-8B متباعدين كثيرًا. أما وفق مُحكِّم المحتوى فلا يختلفان (17.2% مقابل 18.4%، p = 0.73). تعامل الورقة الفجوة القائمة على القواعد على أنها أثر من آثار المُحكِّم.
التوافق بين المُحكِّمَين: 84%، κ = 0.60.
مُقيَّمة بالمُحكِّم القائم على القواعد فقط. التخفيضات مقابل تشغيلات مطابقة بلا دفاع على الموجِّهات العشرين نفسها.
| الدفاع | Mistral-7B (خط الأساس 50%) | Llama-3.1-8B (خط الأساس 45%) |
|---|---|---|
| قائمة الكلمات المفتاحية السوداء | 35% (−15 نقطة مئوية) | 25% (−20 نقطة مئوية) |
| التذكير الذاتي | 10% (−40 نقطة مئوية) | 5% (−40 نقطة مئوية) |
| إعادة الصياغة | 60% (+10 نقاط مئوية؛ 12 مقابل 10 من 20 موجِّهًا) | 5% (−40 نقطة مئوية) |
| مرشِّح الحيرة (Perplexity) | 50% (0 نقطة مئوية) | 45% (0 نقطة مئوية) |
الموجِّهات الحميدة (10 لكل نموذج): حجبت مرشِّحات الكلمات المفتاحية وإعادة الصياغة والحيرة 0 من 10. معدل الرفض الحميد للتذكير الذاتي لم يُقَس.
تقرأ النصوص البرمجية من مجلد المشروع وتكتب فيه. اضبط BASE في أعلى كل نص برمجي ليشير إلى نسختك من هذا المستودع، أو احتفظ بالتخطيط أعلاه وشغّل من جذر المستودع.
pip install pandas numpy scipy matplotlib
ollama pull llama3:8b
ollama pull llama3.1:8b
ollama pull llama3.2:3b
ollama pull mistral
ollama pull qwen2.5:7b
ollama pull gemma2:9b
ollama pull phi4:14b
python scripts/phase1_expanded.py # main run, 1,750 generations (several hours)
python scripts/judge_validation_v2.py # content judge (GPU recommended)
python scripts/phase3_defenses.py # defense run (rule-based)
python scripts/rejudge_expanded.py # rule-based re-scoring
python scripts/make_all_figures.py # all five figures
يتم حفظ تقدّم كلٍّ من التشغيل الرئيسي والمُقيِّم، ويمكن استئنافهما. توقّع أن يستغرق التشغيل الرئيسي بضع ساعات على وحدة معالجة رسومات استهلاكية حديثة.
استشهد بالمخطوطة بعد قبولها (سيُضاف الاستشهاد لاحقًا)، وبالمسوّدات المرتبطة بها:
@article{niloy2026threats,
title = {Autonomous OSS Threat Detection via Taxonomy-Aligned LLMs},
author = {Niloy, Md. Robiul Islam},
journal = {arXiv:2610.01263 [cs.CR]},
year = {2026}
}
MIT. انظر LICENSE.
Md. Robiul Islam Niloy، قسم علوم الحاسوب والهندسة، جامعة BRAC، دكا، بنغلاديش. [email protected] · github.com/Mdniloykhan