
Framework de défense qui maintient les modèles audio-langage figés et ajoute une barrière de risque en couche intermédiaire avec des adaptateurs de sécurité en couche tardive pour bloquer les jailbreaks audio à l'inférence.
Soumis à ICASSP 2027.
AEGIS maintient le modèle audio-langage cible gelé et ajoute une barrière de risque en couche intermédiaire qui pilote conditionnellement des adaptateurs de sûreté en couche tardive, avec une mise à l'échelle en boucle fermée lors de l'inférence.
| Page | Ce qu'elle contient |
|---|---|
| Méthode | L'écart risque-vers-refus, la barrière et les adaptateurs, la perte d'entraînement, la boucle fermée. |
| Résultats | Les tableaux de l'article : six modèles, trois benchmarks, l'ablation et la comparaison des défenses. |
| Analyses au-delà de l'article | L'écart risque-vers-refus dans les cinq autres modèles, le comportement de la barrière, les représentations, le tableau d'ablation complet. |
| Données | L'origine de chaque jeu de données et la construction des manifestes. |
| Ajouter un modèle | Porter AEGIS vers un autre LALM en écrivant un adaptateur. |
Sur cette page : Organisation du dépôt · Installation · Données · Exécuter AEGIS · Protocole · Ablations · Tests · Citation
aegis/ defense runtime; every script runs from any directory
model_registry.py ModelAdapter interface, registry, Qwen2-Audio and Phi-4 adapters
adapters_gemma_voxtral.py Gemma 4 E4B-it and Voxtral-Small-24B adapters
adapters_ultravox_vita.py Ultravox v0.5 and VITA-1.5 adapters
train_gate_lora.py joint training of the risk gate and the safety adapters
run_defense.py gated inference with closed-loop scaling (--score-only: gate scores)
run_model.py undefended generation
judge.py Llama-Guard-3-8B safety judge
refusal.py refusal regex for the over-refusal metric
extract_hidden.py, analysis/ hidden-state probes for layer selection
scripts/
prepare_data.py downloaded datasets -> manifests (+ in-domain test splits)
run_baseline.sh step 0: undefended responses, judgments, training files
run_aegis.sh steps 1-4 for one protocol (PROTOCOL=indomain or lobo)
run_ablation.sh the Full and Always-on ablations
models.sh per-model gate layer, intervention layers, prompt mode
build_trainsets.py, calibrate_threshold.py, summarize.py
data/splits/ in-domain train/test ids used in the paper
docs/ method, results, analyses, porting guide
tests/ CPU tests of the evaluation protocol
pip install -r requirements.txt
Chaque modèle nécessite une version de Transformers capable de le charger. Les sources amont divergent, nous avons donc utilisé un environnement par famille de modèles :
MODEL | Modèle de base | Id Hugging Face (variable de surcharge) | Couche de gate | Couches d'intervention | Transformers utilisé |
|---|---|---|---|---|---|
gemma4_e4b_it | Gemma 4 E4B IT | google/gemma-4-E4B-it (AEGIS_GEMMA4_PATH) | 21 | 25–41 | 5.7.0.dev0 |
phi4_mm | Phi-4-multimodal | microsoft/Phi-4-multimodal-instruct (AEGIS_PHI4_MM_PATH) | 15 | 19–31 | 5.7.0.dev0 |
vita_15 | VITA-1.5 | VITA-MLLM/VITA-1.5 (AEGIS_VITA_PATH) | 15 | 19–27 | 4.43.4 |
qwen2_audio | Qwen2-Audio-7B-Instruct | Qwen/Qwen2-Audio-7B-Instruct (AEGIS_QWEN2_AUDIO_PATH) | 15 | 19–31 | ≥ 4.45 |
ultravox_v05 | Ultravox v0.5 (Llama-3.1-8B) | fixie-ai/ultravox-v0_5-llama-3_1-8b (AEGIS_ULTRAVOX_PATH) | 15 | 19–31 | 4.48.1 |
voxtral_small | Voxtral Small 24B | mistralai/Voxtral-Small-24B-2507 (AEGIS_VOXTRAL_PATH) | 24 | 28–39 | 4.57.6 |
huggingface-cli login, ou définissez GUARD et AEGIS_LLAMA31_PATH vers des copies locales.AEGIS_VITA_REPO vers le répertoire cloné (par défaut : external/VITA).DEVICE=auto répartit le modèle ; le gate et les adaptateurs suivent les couches qu'ils interceptent). Qwen2-Audio et Phi-4 bénéficient également de DEVICE=auto sur les longs clips AJail.Téléchargez les cinq jeux de données comme décrit dans data/README.md, puis construisez les manifestes :
python scripts/prepare_data.py --data-root data --out-dir data/manifests
Le script vérifie les nombres de lignes utilisés dans l'article : AJail 1 490, JALM 946, SACRED 1 364, XSTest 250, Benign_train 215. Il écrit également les splits de test in-domain (718 / 499 / 683 lignes) à partir des listes d'identifiants dans data/splits/.
Pour chaque modèle (PY est le Python de l'environnement de ce modèle ; JUDGE_PY peut pointer vers un environnement différent pour Llama Guard) :
MODEL=gemma4_e4b_it PY=python DEVICE=cuda:0 bash scripts/run_baseline.sh # step 0
MODEL=gemma4_e4b_it PROTOCOL=indomain PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh # in-domain
MODEL=gemma4_e4b_it PROTOCOL=lobo PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh # LOBO
Chaque étape est reprise possible ; relancez la même commande après une interruption. Les sorties vont dans
runs/<model>/ :
baseline/ undefended responses; <bench>_judged.jsonl = Llama Guard labels
train/train_{indomain,lobo}_<bench>.jsonl
<protocol>/<bench>/adapter/ router_head.pt, late_adapters.pt, config.json
<protocol>/<bench>/scores/ gate scores on XSTest and on the evaluation set
<protocol>/<bench>/threshold.json
<protocol>/<bench>/defended/ defended responses and their judgments
<protocol>/summary.json unsafe rate, over-refusal, gate AUROC per benchmark