التعلّم لكشف هجمات الخروج من القيود (Jailbreak) غير المعروفة في نماذج الرؤية واللغة الكبيرة

التنفيذ الرسمي لـ "Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models."

يحتوي هذا المستودع على معالجة البيانات، واستخراج الحالات المخفية، وتدريب المصنّف، والمُرمِّز التلقائي لأنماط الأمان، وشيفرة التقييم المستخدمة في المشروع.

يوفّر هذا الإصدار تنفيذ LLaVA-v1.6-Vicuna-7B. يتطلب تكييف خط المعالجة مع Qwen2.5-VL أو CogVLM معالجة إدخال خاصة بكل نموذج وكواشف مدرَّبة بشكل منفصل.

المحتويات

• النماذج
• بنية المستودع
• خط معالجة الكشف
• مجموعات البيانات

النماذج

تستخدم التجارب النماذج الأساسية التالية:

• LLaVA-v1.6-Vicuna-7B، نموذج رؤية ولغة كبير مبني على Vicuna.
• Llama Guard 3 8B، نموذج حماية أمان يُستخدم لتقييم الاستجابات المُولَّدة.

نزّل أوزان النماذج بشكل منفصل وضعها تحت:

asset/weights/

بنية المستودع

.
├── asset/
│   ├── advbench/                 # AdvBench images
│   ├── harmbench/                # HarmBench DirectRequest images
│   ├── GQA/                      # GQA images
│   ├── HiddenStates/             # Extracted hidden states
│   └── weights/                  # Model weights (not included)
├── Benchmarks/                   # Evaluation benchmark metadata
├── vicuna/
│   ├── instructions/
│   │   ├── advbench.json
│   │   ├── GQA.json
│   │   └── harmbench.json        # HarmBench DirectRequest metadata
│   ├── qa.py
│   ├── qa-baseline.py
│   └── train.py
├── autoencoder.py
├── llama3_guard.py
└── test.py

خط أنابيب الكشف

تستخدم بعض السكربتات مسارات نسبية إلى دليل عملها الخاص. شغّل الأوامر من الأدلة الموضحة أدناه.

1. الاستعلام من نموذج الرؤية واللغة

استعلم من النموذج على بيانات المصدر غير الآمنة (AdvBench) وبيانات المصدر الآمنة (GQA):

cd vicuna
python qa.py --dataset advbench
python qa.py --dataset GQA
cd ..

يمكن الاستعلام عن بيانات HarmBench DirectRequest باستخدام الواجهة نفسها:

cd vicuna
python qa.py --dataset harmbench
cd ..

2. تقييم استجابات النموذج وتقسيمها

قيّم استجابات AdvBench المولّدة باستخدام Llama Guard 3:

python llama3_guard.py --file vicuna/instructions/advbench.json

أنشئ تقسيمات التدريب/الاختبار الخاصة بـ AdvBench وGQA:

cd vicuna/instructions
python process.py
cd ../..

3. استخراج الحالات المخفية

استخراج الحالات المخفية لمعايير التقييم المُهيأة حاليًا في vicuna/qa-baseline.py:

cd vicuna
python qa-baseline.py
cd ..

4. تدريب واختبار مصنّفات MSCAV

cd vicuna
python train.py --train
python train.py --test
cd ..

5. تدريب المشفّر التلقائي لأنماط الأمان (SPAE)

python autoencoder.py

6. تقييم أداء الكشف

python test.py

مجموعات البيانات

بيانات التدريب والملحق

مجموعة البيانات	الدور	البيانات الوصفية	الصور
AdvBench	بيانات مصدر غير آمنة	vicuna/instructions/advbench.json	asset/advbench/
GQA	بيانات مصدر آمنة	vicuna/instructions/GQA.json	asset/GQA/
HarmBench (DirectRequest)	تجربة مصدر غير آمن مُبلَّغ عنها في الملحق	vicuna/instructions/harmbench.json	asset/harmbench/

تحتوي مجموعة فرعية HarmBench DirectRequest المضمّنة على 320 زوجًا من الصور والطلبات. مسارات الصور في harmbench.json نسبية إلى المستودع وتتبع نفس اصطلاح التخطيط الخاص بـ AdvBench.

معايير التقييم

نزّل صور التقييم من ModelScope: detecpolo/Learning-to-Detect وانسخ دليل asset/ الذي تم تنزيله إلى جذر المستودع. تتوفر ملفات JSON المطابقة لمعايير التقييم في هذا المستودع ضمن Benchmarks/.

يُرجى الرجوع إلى القسم 4.1 وملاحق ورقتنا البحثية للاطلاع على مصادر مجموعات البيانات وبناء الهجمات والإعدادات التجريبية.