बड़े विज़न-लैंग्वेज मॉडल्स में अज्ञात जेलब्रेक हमलों का पता लगाना सीखना

"Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models" का आधिकारिक कार्यान्वयन।

इस रिपॉज़िटरी में प्रोजेक्ट में उपयोग किया गया डेटा-प्रोसेसिंग, हिडन-स्टेट एक्सट्रैक्शन, क्लासिफायर प्रशिक्षण, सेफ्टी-पैटर्न ऑटो-एनकोडर, और मूल्यांकन कोड शामिल है।

यह रिलीज़ LLaVA-v1.6-Vicuna-7B कार्यान्वयन प्रदान करती है। पाइपलाइन को Qwen2.5-VL या CogVLM में अनुकूलित करने के लिए मॉडल-विशिष्ट इनपुट प्रोसेसिंग और अलग से प्रशिक्षित डिटेक्टरों की आवश्यकता होती है।

विषय-सूची

• मॉडल
• रिपॉज़िटरी संरचना
• डिटेक्शन पाइपलाइन
• डेटासेट

मॉडल

प्रयोगों में निम्नलिखित बेस मॉडल का उपयोग किया गया है:

• LLaVA-v1.6-Vicuna-7B, Vicuna पर आधारित एक बड़ा विज़न-लैंग्वेज मॉडल।
• Llama Guard 3 8B, एक सेफ्टी गार्डरेल मॉडल जिसका उपयोग उत्पन्न प्रतिक्रियाओं का आकलन करने के लिए किया जाता है।

मॉडल वेट्स को अलग से डाउनलोड करें और इन्हें यहाँ रखें:

asset/weights/

रिपॉजिटरी संरचना

.
├── asset/
│   ├── advbench/                 # AdvBench images
│   ├── harmbench/                # HarmBench DirectRequest images
│   ├── GQA/                      # GQA images
│   ├── HiddenStates/             # Extracted hidden states
│   └── weights/                  # Model weights (not included)
├── Benchmarks/                   # Evaluation benchmark metadata
├── vicuna/
│   ├── instructions/
│   │   ├── advbench.json
│   │   ├── GQA.json
│   │   └── harmbench.json        # HarmBench DirectRequest metadata
│   ├── qa.py
│   ├── qa-baseline.py
│   └── train.py
├── autoencoder.py
├── llama3_guard.py
└── test.py

डिटेक्शन पाइपलाइन

कुछ स्क्रिप्ट अपनी स्वयं की कार्यशील निर्देशिका के सापेक्ष पथों का उपयोग करती हैं। नीचे दिखाई गई निर्देशिकाओं से कमांड चलाएँ।

1. विज़न-लैंग्वेज मॉडल को क्वेरी करें

असुरक्षित स्रोत डेटा (AdvBench) और सुरक्षित स्रोत डेटा (GQA) पर मॉडल को क्वेरी करें:

cd vicuna
python qa.py --dataset advbench
python qa.py --dataset GQA
cd ..

HarmBench DirectRequest डेटा को उसी इंटरफ़ेस से क्वेरी किया जा सकता है:

cd vicuna
python qa.py --dataset harmbench
cd ..

2. मॉडल प्रतिक्रियाओं का आकलन करें और विभाजित करें

Llama Guard 3 के साथ उत्पन्न AdvBench प्रतिक्रियाओं का आकलन करें:

python llama3_guard.py --file vicuna/instructions/advbench.json

AdvBench और GQA प्रशिक्षण/परीक्षण विभाजन बनाएं:

cd vicuna/instructions
python process.py
cd ../..

3. छिपी हुई अवस्थाएँ निकालें

vicuna/qa-baseline.py में वर्तमान में कॉन्फ़िगर किए गए मूल्यांकन बेंचमार्क के लिए छिपी हुई अवस्थाएँ निकालें:

cd vicuna
python qa-baseline.py
cd ..

4. MSCAV क्लासिफायर को प्रशिक्षित और परीक्षण करें

cd vicuna
python train.py --train
python train.py --test
cd ..

5. सुरक्षा पैटर्न ऑटो-एनकोडर (SPAE) को प्रशिक्षित करें

python autoencoder.py

6. डिटेक्शन प्रदर्शन का मूल्यांकन करें

python test.py

डेटासेट

प्रशिक्षण और परिशिष्ट डेटा

डेटासेट	भूमिका	मेटाडेटा	छवियाँ
AdvBench	असुरक्षित स्रोत डेटा	vicuna/instructions/advbench.json	asset/advbench/
GQA	सुरक्षित स्रोत डेटा	vicuna/instructions/GQA.json	asset/GQA/
HarmBench (DirectRequest)	परिशिष्ट में रिपोर्ट किया गया असुरक्षित-स्रोत प्रयोग	vicuna/instructions/harmbench.json	asset/harmbench/

शामिल HarmBench DirectRequest सबसेट में 320 छवि–अनुरोध जोड़े हैं। harmbench.json में छवि पथ रिपॉज़िटरी-सापेक्ष हैं और AdvBench के समान लेआउट परंपरा का पालन करते हैं।

मूल्यांकन बेंचमार्क

मूल्यांकन छवियों को ModelScope: detecpolo/Learning-to-Detect से डाउनलोड करें और डाउनलोड की गई asset/ निर्देशिका को रिपॉज़िटरी रूट में कॉपी करें। संबंधित बेंचमार्क JSON फ़ाइलें इस रिपॉज़िटरी में Benchmarks/ के अंतर्गत प्रदान की गई हैं।

डेटासेट स्रोतों, आक्रमण निर्माण और प्रयोगात्मक सेटिंग्स के लिए कृपया हमारे पेपर के अनुभाग 4.1 और परिशिष्टों को देखें।