
إطار دفاعي يُبقي نماذج اللغة الصوتية مجمّدة ويضيف بوابة مخاطر في الطبقة الوسطى مع محوّلات أمان في الطبقات المتأخرة لصدّ اختراقات الحماية الصوتية عند الاستدلال.
مُقدَّم إلى ICASSP 2027.
يحافظ AEGIS على تجميد نموذج اللغة الصوتية المستهدف ويضيف بوابة مخاطر في الطبقة الوسطى تقود بشكل مشروط محوّلات السلامة في الطبقات المتأخرة، مع تحجيم حلقي مغلق عند الاستدلال.
| الصفحة | ما تحتويه |
|---|---|
| المنهج | الفجوة بين المخاطر والرفض، والبوابة والمحوّلات، وخسارة التدريب، والحلقة المغلقة. |
| النتائج | جداول الورقة: ستة نماذج، وثلاثة معايير تقييم، والاستئصال، ومقارنة الدفاعات. |
| تحليلات تتجاوز الورقة | الفجوة بين المخاطر والرفض في النماذج الخمسة الأخرى، وسلوك البوابة، والتمثيلات، وجدول الاستئصال الكامل. |
| البيانات | مصدر كل مجموعة بيانات وكيفية بناء قوائم البيانات. |
| إضافة نموذج | نقل AEGIS إلى LALM آخر عبر كتابة محوّل واحد. |
في هذه الصفحة: تخطيط المستودع · الإعداد · البيانات · تشغيل AEGIS · البروتوكول · الاستئصالات · الاختبارات · الاستشهاد
aegis/ defense runtime; every script runs from any directory
model_registry.py ModelAdapter interface, registry, Qwen2-Audio and Phi-4 adapters
adapters_gemma_voxtral.py Gemma 4 E4B-it and Voxtral-Small-24B adapters
adapters_ultravox_vita.py Ultravox v0.5 and VITA-1.5 adapters
train_gate_lora.py joint training of the risk gate and the safety adapters
run_defense.py gated inference with closed-loop scaling (--score-only: gate scores)
run_model.py undefended generation
judge.py Llama-Guard-3-8B safety judge
refusal.py refusal regex for the over-refusal metric
extract_hidden.py, analysis/ hidden-state probes for layer selection
scripts/
prepare_data.py downloaded datasets -> manifests (+ in-domain test splits)
run_baseline.sh step 0: undefended responses, judgments, training files
run_aegis.sh steps 1-4 for one protocol (PROTOCOL=indomain or lobo)
run_ablation.sh the Full and Always-on ablations
models.sh per-model gate layer, intervention layers, prompt mode
build_trainsets.py, calibrate_threshold.py, summarize.py
data/splits/ in-domain train/test ids used in the paper
docs/ method, results, analyses, porting guide
tests/ CPU tests of the evaluation protocol
pip install -r requirements.txt
كل نموذج يحتاج إلى إصدار Transformers قادر على تحميله. تختلف المصادر الأصلية في ذلك، لذا استخدمنا بيئة واحدة لكل عائلة نماذج:
MODEL | النموذج الأساسي | معرّف Hugging Face (متغيّر التجاوز) | طبقة البوابة | طبقات التدخل | إصدار Transformers المستخدم |
|---|---|---|---|---|---|
gemma4_e4b_it | Gemma 4 E4B IT | google/gemma-4-E4B-it (AEGIS_GEMMA4_PATH) | 21 | 25–41 | 5.7.0.dev0 |
phi4_mm | Phi-4-multimodal | microsoft/Phi-4-multimodal-instruct (AEGIS_PHI4_MM_PATH) | 15 | 19–31 | 5.7.0.dev0 |
vita_15 | VITA-1.5 | VITA-MLLM/VITA-1.5 (AEGIS_VITA_PATH) | 15 | 19–27 | 4.43.4 |
qwen2_audio | Qwen2-Audio-7B-Instruct | Qwen/Qwen2-Audio-7B-Instruct (AEGIS_QWEN2_AUDIO_PATH) | 15 | 19–31 | ≥ 4.45 |
ultravox_v05 | Ultravox v0.5 (Llama-3.1-8B) | fixie-ai/ultravox-v0_5-llama-3_1-8b (AEGIS_ULTRAVOX_PATH) | 15 | 19–31 | 4.48.1 |
voxtral_small | Voxtral Small 24B | mistralai/Voxtral-Small-24B-2507 (AEGIS_VOXTRAL_PATH) | 24 | 28–39 | 4.57.6 |
huggingface-cli login، أو اضبط GUARD وAEGIS_LLAMA31_PATH على نسخ محلية.AEGIS_VITA_REPO على مسار الاستنساخ (الافتراضي: external/VITA).DEVICE=auto يوزّع النموذج؛ وتتبع البوابة والمحوّلات الطبقات التي ترتبط بها). يستفيد Qwen2-Audio وPhi-4 أيضًا من DEVICE=auto مع مقاطع AJail الطويلة.نزّل مجموعات البيانات الخمس كما هو موضح في data/README.md، ثم ابنِ ملفات البيان:
python scripts/prepare_data.py --data-root data --out-dir data/manifests
يفحص السكربت أعداد الصفوف المستخدمة في الورقة البحثية: AJail 1,490، وJALM 946، وSACRED 1,364، وXSTest 250، وBenign_train 215. كما يكتب تقسيمات الاختبار داخل النطاق (718 / 499 / 683 صفًا) من قوائم المعرّفات في data/splits/.
لكل نموذج (PY هو Python الخاص ببيئة ذلك النموذج؛ ويمكن أن يشير JUDGE_PY إلى بيئة مختلفة لـ Llama Guard):
MODEL=gemma4_e4b_it PY=python DEVICE=cuda:0 bash scripts/run_baseline.sh # step 0
MODEL=gemma4_e4b_it PROTOCOL=indomain PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh # in-domain
MODEL=gemma4_e4b_it PROTOCOL=lobo PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh # LOBO
كل مرحلة قابلة للاستئناف؛ أعد تشغيل الأمر نفسه بعد انقطاع. تذهب المخرجات إلى
runs/<model>/:
baseline/ undefended responses; <bench>_judged.jsonl = Llama Guard labels
train/train_{indomain,lobo}_<bench>.jsonl
<protocol>/<bench>/adapter/ router_head.pt, late_adapters.pt, config.json
<protocol>/<bench>/scores/ gate scores on XSTest and on the evaluation set
<protocol>/<bench>/threshold.json
<protocol>/<bench>/defended/ defended responses and their judgments
<protocol>/summary.json unsafe rate, over-refusal, gate AUROC per benchmark