Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models

Offizielle Implementierung von „Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models.“

Dieses Repository enthält den Code zur Datenverarbeitung, zur Extraktion verborgener Zustände, zum Training des Klassifikators, zum Autoencoder für Sicherheitsmuster und zur Evaluierung, die im Projekt verwendet werden.

Diese Veröffentlichung stellt die Implementierung für LLaVA-v1.6-Vicuna-7B bereit. Die Anpassung der Pipeline an Qwen2.5-VL oder CogVLM erfordert modellspezifische Eingabeverarbeitung und separat trainierte Detektoren.

Inhalt

• Modelle
• Repository-Struktur
• Erkennungs-Pipeline
• Datensätze

Modelle

Die Experimente verwenden die folgenden Basismodelle:

• LLaVA-v1.6-Vicuna-7B, ein großes Vision-Language-Modell auf Basis von Vicuna.
• Llama Guard 3 8B, ein Safety-Guardrail-Modell, das zur Bewertung generierter Antworten verwendet wird.

Laden Sie die Modellgewichte separat herunter und legen Sie sie unter folgendem Pfad ab:

asset/weights/

Repository-Struktur

.
├── asset/
│   ├── advbench/                 # AdvBench images
│   ├── harmbench/                # HarmBench DirectRequest images
│   ├── GQA/                      # GQA images
│   ├── HiddenStates/             # Extracted hidden states
│   └── weights/                  # Model weights (not included)
├── Benchmarks/                   # Evaluation benchmark metadata
├── vicuna/
│   ├── instructions/
│   │   ├── advbench.json
│   │   ├── GQA.json
│   │   └── harmbench.json        # HarmBench DirectRequest metadata
│   ├── qa.py
│   ├── qa-baseline.py
│   └── train.py
├── autoencoder.py
├── llama3_guard.py
└── test.py

Erkennungspipeline

Einige Skripte verwenden Pfade relativ zu ihrem eigenen Arbeitsverzeichnis. Führen Sie die Befehle aus den unten angegebenen Verzeichnissen aus.

1. Das Vision-Language-Modell abfragen

Fragen Sie das Modell mit den unsicheren Quelldaten (AdvBench) und den sicheren Quelldaten (GQA) ab:

cd vicuna
python qa.py --dataset advbench
python qa.py --dataset GQA
cd ..

Die HarmBench-DirectRequest-Daten können über dieselbe Schnittstelle abgefragt werden:

cd vicuna
python qa.py --dataset harmbench
cd ..

2. Modellantworten bewerten und aufteilen

Bewerte die generierten AdvBench-Antworten mit Llama Guard 3:

python llama3_guard.py --file vicuna/instructions/advbench.json

Erstelle die AdvBench- und GQA-Trainings-/Test-Splits:

cd vicuna/instructions
python process.py
cd ../..

3. Hidden States extrahieren

Extrahieren Sie die Hidden States für die Evaluierungs-Benchmarks, die derzeit in vicuna/qa-baseline.py konfiguriert sind:

cd vicuna
python qa-baseline.py
cd ..

4. MSCAV-Klassifikatoren trainieren und testen

cd vicuna
python train.py --train
python train.py --test
cd ..

5. Den Safety-Pattern-Auto-Encoder (SPAE) trainieren

python autoencoder.py

6. Erkennungsleistung bewerten

python test.py

Datensätze

Trainings- und Anhangdaten

Datensatz	Rolle	Metadaten	Bilder
AdvBench	Unsichere Quelldaten	vicuna/instructions/advbench.json	asset/advbench/
GQA	Sichere Quelldaten	vicuna/instructions/GQA.json	asset/GQA/
HarmBench (DirectRequest)	Im Anhang berichtetes Experiment mit unsicherer Quelle	vicuna/instructions/harmbench.json	asset/harmbench/

Das enthaltene HarmBench-DirectRequest-Subset umfasst 320 Bild-Anfrage-Paare. Die Bildpfade in harmbench.json sind relativ zum Repository und folgen derselben Layout-Konvention wie AdvBench.

Evaluierungs-Benchmarks

Laden Sie die Evaluierungsbilder von ModelScope: detecpolo/Learning-to-Detect herunter und kopieren Sie das heruntergeladene Verzeichnis asset/ in das Repository-Stammverzeichnis. Die passenden Benchmark-JSON-Dateien sind in diesem Repository unter Benchmarks/ bereitgestellt.

Bitte lesen Sie Abschnitt 4.1 und die Anhänge unseres Papers für Datensatzquellen, Angriffskonstruktion und experimentelle Einstellungen.