mdniloykhan/jailbreak-eval-7llms"सात बड़े भाषा मॉडलों में एडवर्सेरियल जेलब्रेकिंग हमलों और रक्षाओं का व्यवस्थित मूल्यांकन" के लिए कोड
इसके लिए कोड, प्रॉम्प्ट और परिणाम:
सात बड़े भाषा मॉडलों में एडवर्सेरियल जेलब्रेकिंग हमलों और रक्षाओं का व्यवस्थित मूल्यांकन Md. Robiul Islam Niloy, Abu Sayed Md. Mostafizur Rahaman. Md. Robiul Islam Niloy: कंप्यूटर विज्ञान और इंजीनियरिंग विभाग, BRAC University, बांग्लादेश। Abu Sayed Md. Mostafizur Rahaman: कंप्यूटर विज्ञान और इंजीनियरिंग विभाग, Jahangirnagar University, बांग्लादेश। IEEE Transactions on Information Forensics and Security के लिए पांडुलिपि तैयार की जा रही है (अभी तक सबमिट नहीं की गई है)।
स्थिति: परिणाम अनंतिम हैं। प्राथमिक जज एक LLM रूब्रिक है जिसे अभी तक मानव लेबल के विरुद्ध मान्य नहीं किया गया है। नियम-आधारित जज में ज्ञात दोष हैं (देखें ज्ञात समस्याएँ)।
README.md
LICENSE
paper/
tifs_paper_v12.tex manuscript source
prompts/
expanded_prompts.json 250 attack prompts (50 per family, 5 families)
scripts/
phase1_expanded.py main experiment: 7 models x 250 prompts via Ollama
phase3_defenses.py defense experiments (first 10 obfuscation + 10 roleplay prompts)
judge_validation_v2.py content judge (phi4 rubric), resumable
rejudge_expanded.py rule-based re-scoring with corrected refusal matching
make_all_figures.py builds all five figures
results/
expanded/ one CSV per model: 250 prompts, truncated responses, rule-based label
defense/ defense run outputs and summary
judge/ agreement_report.txt and corrected_asr.txt
figures/ the five PDFs used in the manuscript
प्रतिक्रियाएँ 500 अक्षरों तक काटकर संग्रहीत की जाती हैं। मानव-जाँच शीट, उनकी कुंजियाँ, और पूर्ण निर्णायक आउटपुट (जो प्रतिक्रिया पाठ को दोहराता है) शामिल नहीं हैं।
Ollama लाइब्रेरी से लिए गए:
| मॉडल | Ollama टैग | पैरामीटर |
|---|---|---|
| Llama-3-8B-Instruct | llama3:8b | 8B |
| Llama-3.1-8B-Instruct | llama3.1:8b | 8B |
| Llama-3.2-3B-Instruct | llama3.2:3b | 3B |
| Mistral-7B-Instruct | mistral | 7B |
| Qwen2.5-7B-Instruct | qwen2.5:7b | 7B |
| Gemma2-9B-Instruct | gemma2:9b | 9B |
| Phi-4-14B | phi4:14b | 14B |
| phi4 रूब्रिक निर्णायक | phi4:14b | 14B |
Llama Guard 3 को विकास के दौरान चलाया गया था लेकिन इसका आउटपुट उपयोगी नहीं था, इसलिए यह किसी भी रिपोर्ट किए गए परिणाम का हिस्सा नहीं है।
"हानि" का अर्थ है कि सामग्री निर्णायक ने प्रतिक्रिया को HARMFUL या PARTIAL के रूप में लेबल किया। तुलना के लिए केवल HARMFUL दिखाया गया है।
| मॉडल | हानि दर (%) | केवल HARMFUL (%) |
|---|---|---|
| Mistral-7B | 62.0 | 8.8 |
| Llama-3.2-3B | 30.8 | 1.2 |
| Qwen2.5-7B | 29.2 | 1.2 |
| Gemma2-9B | 26.0 | 2.0 |
| Phi-4-14B | 20.0 | 2.8 |
| Llama-3.1-8B | 18.4 | 0.4 |
| Llama-3-8B | 17.2 | 1.6 |
| संयुक्त | 29.1 | 2.6 |
आक्रमण परिवार के अनुसार (संयुक्त): अस्पष्टीकरण 62.3 (केवल HARMFUL 7.1), काल्पनिक ढाँचा 53.4, भूमिका-निर्वाह 14.0, ओवरराइड 8.0, प्रत्यक्ष 7.7।
अस्पष्टीकरण सबसे उच्च संयुक्त परिवार है। काल्पनिक ढाँचा तीन मॉडलों (Mistral-7B, Llama-3.2-3B, Qwen2.5-7B) के लिए सबसे उच्च परिवार है; अस्पष्टीकरण चार के लिए सबसे उच्च या बराबर है।
मॉडल आकार: Spearman ρ = −0.64, p = 0.12, n = 7 (सार्थक नहीं)।
युग्मवार Mann-Whitney परीक्षण (असंशोधित): 21 युग्मों में से 14 p < 0.05 पर भिन्न हैं। Mistral-7B Llama-3.2-3B और Qwen2.5-7B से महत्वपूर्ण रूप से भिन्न है (p < 0.001)।
नियम-आधारित निर्णायक (jailbreak_success CSV में) के अंतर्गत समग्र ASR। ये संख्याएँ ज्ञात समस्याएँ के अंतर्गत दिए गए कारणों से अविश्वसनीय हैं।
| मॉडल | नियम-आधारित ASR (%) |
|---|---|
| Llama-3.1-8B | 40.8 |
| Mistral-7B | 39.6 |
| Llama-3.2-3B | 39.6 |
| Qwen2.5-7B | 22.4 |
| Gemma2-9B | 18.4 |
| Llama-3-8B | 16.8 |
| Phi-4-14B | 11.2 |
नियम-आधारित निर्णायक के अंतर्गत, Llama-3.1-8B सबसे अधिक असुरक्षित प्रतीत होता है और Llama-3-8B तथा Llama-3.1-8B बहुत अलग प्रतीत होते हैं। सामग्री निर्णायक के अंतर्गत वे भिन्न नहीं हैं (17.2% बनाम 18.4%, p = 0.73)। पेपर नियम-आधारित अंतर को निर्णायक कलाकृति मानता है।
दोनों निर्णायकों के बीच सहमति: 84%, κ = 0.60।
केवल नियम-आधारित निर्णायक से स्कोर किया गया। कमी उन्हीं 20 प्रॉम्प्ट पर मिलान किए गए बिना-रक्षा रनों की तुलना में है।
| रक्षा | Mistral-7B (आधारभूत 50%) | Llama-3.1-8B (आधारभूत 45%) |
|---|---|---|
| कीवर्ड ब्लैकलिस्ट | 35% (−15 pp) | 25% (−20 pp) |
| स्व-अनुस्मारक | 10% (−40 pp) | 5% (−40 pp) |
| पैराफ्रेज़ | 60% (+10 pp; 20 प्रॉम्प्ट में से 12 बनाम 10) | 5% (−40 pp) |
| परप्लेक्सिटी फ़िल्टर | 50% (0 pp) | 45% (0 pp) |
सौम्य प्रॉम्प्ट (प्रति मॉडल 10): कीवर्ड, पैराफ्रेज़, और परप्लेक्सिटी फ़िल्टर ने 10 में से 0 को अवरुद्ध किया। स्व-अनुस्मारक सौम्य इनकार दर मापी नहीं गई थी।
स्क्रिप्ट्स एक प्रोजेक्ट फ़ोल्डर पढ़ते और लिखते हैं। प्रत्येक स्क्रिप्ट के शीर्ष पर BASE को इस रिपॉज़िटरी की अपनी प्रति पर सेट करें, या ऊपर दिया गया लेआउट रखें और रिपॉज़िटरी रूट से चलाएँ।
pip install pandas numpy scipy matplotlib
ollama pull llama3:8b
ollama pull llama3.1:8b
ollama pull llama3.2:3b
ollama pull mistral
ollama pull qwen2.5:7b
ollama pull gemma2:9b
ollama pull phi4:14b
python scripts/phase1_expanded.py # main run, 1,750 generations (several hours)
python scripts/judge_validation_v2.py # content judge (GPU recommended)
python scripts/phase3_defenses.py # defense run (rule-based)
python scripts/rejudge_expanded.py # rule-based re-scoring
python scripts/make_all_figures.py # all five figures
मुख्य रन और जज दोनों प्रगति सहेजते हैं और फिर से शुरू किए जा सकते हैं। हाल के कंज्यूमर GPU पर मुख्य रन में कुछ घंटे लगने की अपेक्षा करें।
पांडुलिपि स्वीकृत होने पर उसका उद्धरण दें (उद्धरण बाद में जोड़ा जाएगा), और संबंधित प्रीप्रिंट्स का:
@article{niloy2026threats,
title = {Autonomous OSS Threat Detection via Taxonomy-Aligned LLMs},
author = {Niloy, Md. Robiul Islam},
journal = {arXiv:2610.01263 [cs.CR]},
year = {2026}
}
MIT। देखें LICENSE।
Md. Robiul Islam Niloy, कंप्यूटर विज्ञान और इंजीनियरिंग विभाग, BRAC University, ढाका, बांग्लादेश। [email protected] · github.com/Mdniloykhan