
रक्षा ढाँचा जो ऑडियो-भाषा मॉडलों को स्थिर रखता है और अनुमान के समय ऑडियो जेलब्रेक को रोकने के लिए लेट-लेयर सुरक्षा अडैप्टरों के साथ एक मध्य-परत जोखिम गेट जोड़ता है।
ICASSP 2027 में सबमिट किया गया।
AEGIS लक्ष्य ऑडियो-भाषा मॉडल को फ़्रोज़न रखता है और एक मध्य-परत जोखिम गेट जोड़ता है जो सशर्त रूप से देर-परत सुरक्षा एडाप्टरों को संचालित करता है, अनुमान के समय क्लोज़्ड-लूप स्केलिंग के साथ।
| पृष्ठ | इसमें क्या है |
|---|---|
| विधि | जोखिम-से-इनकार का अंतराल, गेट और एडाप्टर, प्रशिक्षण हानि, क्लोज़्ड लूप। |
| परिणाम | पेपर की तालिकाएँ: छह मॉडल, तीन बेंचमार्क, एब्लेशन, और रक्षा तुलना। |
| पेपर से परे विश्लेषण | अन्य पाँच मॉडलों में जोखिम-से-इनकार का अंतराल, गेट व्यवहार, प्रतिनिधित्व, पूर्ण एब्लेशन तालिका। |
| डेटा | प्रत्येक डेटासेट कहाँ से आता है और मैनिफ़ेस्ट कैसे बनाए जाते हैं। |
| मॉडल जोड़ना | एक एडाप्टर लिखकर AEGIS को किसी अन्य LALM पर पोर्ट करना। |
इस पृष्ठ पर: रिपॉज़िटरी लेआउट · सेटअप · डेटा · AEGIS चलाना · प्रोटोकॉल · एब्लेशन · परीक्षण · उद्धरण
aegis/ defense runtime; every script runs from any directory
model_registry.py ModelAdapter interface, registry, Qwen2-Audio and Phi-4 adapters
adapters_gemma_voxtral.py Gemma 4 E4B-it and Voxtral-Small-24B adapters
adapters_ultravox_vita.py Ultravox v0.5 and VITA-1.5 adapters
train_gate_lora.py joint training of the risk gate and the safety adapters
run_defense.py gated inference with closed-loop scaling (--score-only: gate scores)
run_model.py undefended generation
judge.py Llama-Guard-3-8B safety judge
refusal.py refusal regex for the over-refusal metric
extract_hidden.py, analysis/ hidden-state probes for layer selection
scripts/
prepare_data.py downloaded datasets -> manifests (+ in-domain test splits)
run_baseline.sh step 0: undefended responses, judgments, training files
run_aegis.sh steps 1-4 for one protocol (PROTOCOL=indomain or lobo)
run_ablation.sh the Full and Always-on ablations
models.sh per-model gate layer, intervention layers, prompt mode
build_trainsets.py, calibrate_threshold.py, summarize.py
data/splits/ in-domain train/test ids used in the paper
docs/ method, results, analyses, porting guide
tests/ CPU tests of the evaluation protocol
pip install -r requirements.txt
प्रत्येक मॉडल को इसे लोड करने के लिए एक Transformers संस्करण की आवश्यकता होती है। अपस्ट्रीम्स में असहमति है, इसलिए हमने प्रति मॉडल परिवार एक वातावरण का उपयोग किया:
MODEL | बेस मॉडल | Hugging Face id (ओवरराइड वेरिएबल) | गेट लेयर | इंटरवेंशन लेयर्स | प्रयुक्त Transformers |
|---|---|---|---|---|---|
gemma4_e4b_it | Gemma 4 E4B IT | google/gemma-4-E4B-it (AEGIS_GEMMA4_PATH) | 21 | 25–41 | 5.7.0.dev0 |
phi4_mm | Phi-4-multimodal | microsoft/Phi-4-multimodal-instruct (AEGIS_PHI4_MM_PATH) | 15 | 19–31 | 5.7.0.dev0 |
vita_15 | VITA-1.5 | VITA-MLLM/VITA-1.5 (AEGIS_VITA_PATH) | 15 | 19–27 | 4.43.4 |
qwen2_audio | Qwen2-Audio-7B-Instruct | Qwen/Qwen2-Audio-7B-Instruct (AEGIS_QWEN2_AUDIO_PATH) | 15 | 19–31 | ≥ 4.45 |
ultravox_v05 | Ultravox v0.5 (Llama-3.1-8B) | fixie-ai/ultravox-v0_5-llama-3_1-8b (AEGIS_ULTRAVOX_PATH) | 15 | 19–31 | 4.48.1 |
voxtral_small | Voxtral Small 24B | mistralai/Voxtral-Small-24B-2507 (AEGIS_VOXTRAL_PATH) | 24 | 28–39 | 4.57.6 |
huggingface-cli login चलाएँ, या GUARD और
AEGIS_LLAMA31_PATH को स्थानीय प्रतियों पर सेट करें।AEGIS_VITA_REPO को चेकआउट पर सेट करें (डिफ़ॉल्ट: external/VITA)।DEVICE=auto मॉडल को शार्ड करता है; गेट और एडाप्टर
उन लेयर्स का अनुसरण करते हैं जिन्हें वे हुक करते हैं)। Qwen2-Audio और Phi-4 को लंबे AJail क्लिप्स पर
DEVICE=auto से भी लाभ होता है।पाँच डेटासेट डाउनलोड करें जैसा कि data/README.md में वर्णित है, फिर
मैनिफ़ेस्ट बनाएँ:
python scripts/prepare_data.py --data-root data --out-dir data/manifests
स्क्रिप्ट पेपर में उपयोग की गई पंक्ति संख्याओं की जाँच करती है: AJail 1,490, JALM 946, SACRED 1,364,
XSTest 250, Benign_train 215। यह data/splits/ में id सूचियों से इन-डोमेन टेस्ट स्प्लिट (718 / 499 / 683
पंक्तियाँ) भी लिखती है।
प्रत्येक मॉडल के लिए (PY उस मॉडल के वातावरण का Python है; JUDGE_PY Llama Guard के लिए एक
भिन्न वातावरण की ओर इंगित कर सकता है):
MODEL=gemma4_e4b_it PY=python DEVICE=cuda:0 bash scripts/run_baseline.sh # step 0
MODEL=gemma4_e4b_it PROTOCOL=indomain PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh # in-domain
MODEL=gemma4_e4b_it PROTOCOL=lobo PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh # LOBO
हर चरण फिर से शुरू करने योग्य है; किसी रुकावट के बाद वही कमांड दोबारा चलाएँ। आउटपुट runs/<model>/ में जाते हैं:
baseline/ undefended responses; <bench>_judged.jsonl = Llama Guard labels
train/train_{indomain,lobo}_<bench>.jsonl
<protocol>/<bench>/adapter/ router_head.pt, late_adapters.pt, config.json
<protocol>/<bench>/scores/ gate scores on XSTest and on the evaluation set
<protocol>/<bench>/threshold.json
<protocol>/<bench>/defended/ defended responses and their judgments
<protocol>/summary.json unsafe rate, over-refusal, gate AUROC per benchmark