aegis-audio-defense — Framework de défense qui maintient les modèles audio-langage figés et ajoute une barrière de risque en couche intermédiaire avec des adaptateurs de sécurité en couche tardive pour bloquer les jailbreaks audio à l'inférence. | Kitploit

aegis/                        defense runtime; every script runs from any directory
  model_registry.py           ModelAdapter interface, registry, Qwen2-Audio and Phi-4 adapters
  adapters_gemma_voxtral.py   Gemma 4 E4B-it and Voxtral-Small-24B adapters
  adapters_ultravox_vita.py   Ultravox v0.5 and VITA-1.5 adapters
  train_gate_lora.py          joint training of the risk gate and the safety adapters
  run_defense.py              gated inference with closed-loop scaling (--score-only: gate scores)
  run_model.py                undefended generation
  judge.py                    Llama-Guard-3-8B safety judge
  refusal.py                  refusal regex for the over-refusal metric
  extract_hidden.py, analysis/  hidden-state probes for layer selection
scripts/
  prepare_data.py             downloaded datasets -> manifests (+ in-domain test splits)
  run_baseline.sh             step 0: undefended responses, judgments, training files
  run_aegis.sh                steps 1-4 for one protocol (PROTOCOL=indomain or lobo)
  run_ablation.sh             the Full and Always-on ablations
  models.sh                   per-model gate layer, intervention layers, prompt mode
  build_trainsets.py, calibrate_threshold.py, summarize.py
data/splits/                  in-domain train/test ids used in the paper
docs/                         method, results, analyses, porting guide
tests/                        CPU tests of the evaluation protocol

`MODEL`	Modèle de base	Identifiant Hugging Face (variable de surcharge)	Couche de porte	Couches d'intervention	Transformers utilisé
`gemma4_e4b_it`	Gemma 4 E4B IT	`google/gemma-4-E4B-it` (`AEGIS_GEMMA4_PATH`)	21	25–41	5.7.0.dev0
`phi4_mm`	Phi-4-multimodal	`microsoft/Phi-4-multimodal-instruct` (`AEGIS_PHI4_MM_PATH`)	15	19–31	5.7.0.dev0
`vita_15`	VITA-1.5	`VITA-MLLM/VITA-1.5` (`AEGIS_VITA_PATH`)	15	19–27	4.43.4
`qwen2_audio`	Qwen2-Audio-7B-Instruct	`Qwen/Qwen2-Audio-7B-Instruct` (`AEGIS_QWEN2_AUDIO_PATH`)	15	19–31	≥ 4.45
`ultravox_v05`	Ultravox v0.5 (Llama-3.1-8B)	`fixie-ai/ultravox-v0_5-llama-3_1-8b` (`AEGIS_ULTRAVOX_PATH`)	15	19–31	4.48.1
`voxtral_small`	Voxtral Small 24B	`mistralai/Voxtral-Small-24B-2507` (`AEGIS_VOXTRAL_PATH`)	24	28–39	4.57.6

MODEL=gemma4_e4b_it PY=python DEVICE=cuda:0 bash scripts/run_baseline.sh                  # step 0
MODEL=gemma4_e4b_it PROTOCOL=indomain PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh   # in-domain
MODEL=gemma4_e4b_it PROTOCOL=lobo     PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh   # LOBO

baseline/                        undefended responses; <bench>_judged.jsonl = Llama Guard labels
train/train_{indomain,lobo}_<bench>.jsonl
<protocol>/<bench>/adapter/      router_head.pt, late_adapters.pt, config.json
<protocol>/<bench>/scores/       gate scores on XSTest and on the evaluation set
<protocol>/<bench>/threshold.json
<protocol>/<bench>/defended/     defended responses and their judgments
<protocol>/summary.json          unsafe rate, over-refusal, gate AUROC per benchmark

Paramètres d'évaluation. In-domain : AEGIS est entraîné sur le split d'entraînement d'un benchmark et évalué sur son split de test mis de côté, un adaptateur par benchmark. Les splits sont 50/50, graine 42, groupés par prompt afin que les variantes d'une même requête restent d'un même côté ; les ids sont dans data/splits/. LOBO (leave one benchmark out) : AEGIS est entraîné sur les deux autres benchmarks et évalué sur l'ensemble du benchmark mis de côté. Dans les deux paramètres, les données évaluées ne participent jamais à la sélection du seuil, et XSTest n'est jamais utilisé pour l'entraînement.
Données d'entraînement (scripts/build_trainsets.py). L'audio bénin est Benign_train avec les propres réponses non défendues du modèle comme cibles. Les prompts bénins qui semblent nuisibles et que le modèle a refusés au baseline sont écartés. Les cibles nuisibles sont des modèles de refus génériques. Le nombre de clips nuisibles est égal au nombre de clips bénins. Graine 42.
Optimisation. AdamW, taux d'apprentissage 2e-4, 4 époques, accumulation de gradient 8, LoRA de rang 16, λ_BCE = 1.0, λ_L1 = 0.01.
Prompt. Qwen2-Audio reçoit uniquement l'audio (PROMPT_MODE=native) ; les autres modèles reçoivent l'audio plus un prompt texte fixe. La porte lit un état caché dépendant du prompt, donc un adaptateur n'est valide que sous le mode de prompt avec lequel il a été entraîné.
Seuil (scripts/calibrate_threshold.py). Les ids XSTest sont triés et répartis alternativement en une moitié de validation et une moitié de test. Le seuil est le plus petit score de porte dont le sur-refus ajouté sur la moitié de validation est au plus de 10 %, compté sur les prompts auxquels le modèle non défendu a répondu.
Boucle fermée. La probabilité de refus somme la probabilité du prochain token des ouvertures de refus à la dernière couche. Les exécutions in-domain utilisent la liste d'ouvertures multilingue (REFUSAL_PHRASE_SET=multi, définie par run_aegis.sh), donc les refus non anglais comptent.
Métriques (scripts/summarize.py) : le taux d'insécurité est la part des lignes évaluées que Llama-Guard-3-8B étiquette unsafe ; le sur-refus est la part des réponses XSTest correspondant à aegis/refusal.py, rapportée sur les 250 prompts et sur la moitié de test ; l'AUROC de la porte utilise les scores bruts de la porte avec les attaques comme positifs et XSTest comme négatifs.

MODEL=qwen2_audio VARIANT=full bash scripts/run_ablation.sh        # LoRA on all layers, no gate
MODEL=qwen2_audio VARIANT=always_on bash scripts/run_ablation.sh   # AEGIS layers, no gate

@misc{liao2027aegis,
  title  = {{AEGIS}: Audio Endogenous Guarding via Internal Signals Against Large Audio-Language Model Jailbreaks},
  author = {Liao, Yu-Ling and Chiu, Tzu-Chin and Chen, Zong-You and Tsai, Chi-Lei and Lo, Shao-Yuan},
  note   = {Submitted to ICASSP 2027},
  year   = {2026}
}

Méthode	L'écart risque-vers-refus, la porte et les adaptateurs, la perte d'entraînement, la boucle fermée.
Résultats	Les tableaux de l'article : six modèles, trois benchmarks, l'ablation et la comparaison des défenses.
Analyses au-delà de l'article	L'écart risque-vers-refus dans les cinq autres modèles, le comportement de la porte, les représentations, le tableau d'ablation complet.
Données	L'origine de chaque jeu de données et la construction des manifestes.
Ajouter un modèle	Porter AEGIS vers un autre LALM en écrivant un adaptateur.

aegis-audio-defense

Populaires

Organisation du dépôt

Installation

Données

Exécuter AEGIS

Protocole

Ablations

Tests

Citation

Licence