Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models

Implementazione ufficiale di “Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models.”

Questo repository contiene il codice per l'elaborazione dei dati, l'estrazione degli hidden state, l'addestramento del classificatore, l'autoencoder dei pattern di sicurezza e la valutazione utilizzati nel progetto.

Questa release fornisce l'implementazione per LLaVA-v1.6-Vicuna-7B. Adattare la pipeline a Qwen2.5-VL o CogVLM richiede un'elaborazione degli input specifica per il modello e rilevatori addestrati separatamente.

Contenuti

• Modelli
• Struttura del repository
• Pipeline di rilevamento
• Dataset

Modelli

Gli esperimenti utilizzano i seguenti modelli di base:

• LLaVA-v1.6-Vicuna-7B, un grande modello visione-linguaggio basato su Vicuna.
• Llama Guard 3 8B, un modello di salvaguardia della sicurezza utilizzato per valutare le risposte generate.

Scarica separatamente i pesi dei modelli e inseriscili in:

asset/weights/

Struttura del Repository

.
├── asset/
│   ├── advbench/                 # AdvBench images
│   ├── harmbench/                # HarmBench DirectRequest images
│   ├── GQA/                      # GQA images
│   ├── HiddenStates/             # Extracted hidden states
│   └── weights/                  # Model weights (not included)
├── Benchmarks/                   # Evaluation benchmark metadata
├── vicuna/
│   ├── instructions/
│   │   ├── advbench.json
│   │   ├── GQA.json
│   │   └── harmbench.json        # HarmBench DirectRequest metadata
│   ├── qa.py
│   ├── qa-baseline.py
│   └── train.py
├── autoencoder.py
├── llama3_guard.py
└── test.py

Pipeline di rilevamento

Alcuni script utilizzano percorsi relativi alla propria directory di lavoro. Eseguire i comandi dalle directory mostrate di seguito.

1. Interrogare il modello vision-language

Interrogare il modello sui dati sorgente non sicuri (AdvBench) e sui dati sorgente sicuri (GQA):

cd vicuna
python qa.py --dataset advbench
python qa.py --dataset GQA
cd ..

I dati HarmBench DirectRequest possono essere interrogati con la stessa interfaccia:

cd vicuna
python qa.py --dataset harmbench
cd ..

2. Valutare e suddividere le risposte del modello

Valuta le risposte generate da AdvBench con Llama Guard 3:

python llama3_guard.py --file vicuna/instructions/advbench.json

Crea gli split di training/test per AdvBench e GQA:

cd vicuna/instructions
python process.py
cd ../..

3. Estrai gli stati nascosti

Estrai gli stati nascosti per i benchmark di valutazione attualmente configurati in vicuna/qa-baseline.py:

cd vicuna
python qa-baseline.py
cd ..

4. Addestrare e testare i classificatori MSCAV

cd vicuna
python train.py --train
python train.py --test
cd ..

5. Addestra l'Auto-Encoder dei Pattern di Sicurezza (SPAE)

python autoencoder.py

6. Valutare le prestazioni di rilevamento

python test.py

Dataset

Dati di addestramento e dell'appendice

Dataset	Ruolo	Metadati	Immagini
AdvBench	Dati di origine non sicuri	vicuna/instructions/advbench.json	asset/advbench/
GQA	Dati di origine sicuri	vicuna/instructions/GQA.json	asset/GQA/
HarmBench (DirectRequest)	Esperimento su fonte non sicura riportato nell'appendice	vicuna/instructions/harmbench.json	asset/harmbench/

Il sottoinsieme HarmBench DirectRequest incluso contiene 320 coppie immagine-richiesta. I percorsi delle immagini in harmbench.json sono relativi al repository e seguono la stessa convenzione di layout di AdvBench.

Benchmark di valutazione

Scarica le immagini di valutazione da ModelScope: detecpolo/Learning-to-Detect e copia la directory asset/ scaricata nella radice del repository. I file JSON dei benchmark corrispondenti sono forniti in questo repository sotto Benchmarks/.

Fai riferimento alla Sezione 4.1 e alle appendici del nostro articolo per le fonti dei dataset, la costruzione degli attacchi e le impostazioni sperimentali.