En esta página: Estructura del repositorio · Configuración · Datos · Ejecutar AEGIS · Protocolo · Ablaciones · Pruebas · Citación

Estructura del repositorio

Configuración

Cada modelo necesita una versión de Transformers que pueda cargarlo. Los repositorios upstream no coinciden, por lo que usamos un entorno por familia de modelos:

• Los modelos se cargan desde el Hub por defecto. Para ejecutar sin conexión, apunte la variable de anulación a una instantánea local.
• Llama-Guard-3-8B, Gemma 4 y el backbone Llama-3.1 que descarga Ultravox están restringidos en el Hub. Acepte sus licencias y ejecute huggingface-cli login, o configure GUARD y AEGIS_LLAMA31_PATH a copias locales.
• VITA-1.5 necesita su código de GitHub: clone https://github.com/VITA-MLLM/VITA y configure AEGIS_VITA_REPO a la copia local (por defecto: external/VITA).
• Hardware: una GPU de 48 GB es suficiente para la mayoría de los modelos. El entrenamiento de Gemma 4 necesita una sola tarjeta con al menos ~40 GB, porque la pérdida con vocabulario de 262k no se fragmenta bien. Voxtral Small necesita dos tarjetas de 48 GB (DEVICE=auto fragmenta el modelo; la compuerta y los adaptadores siguen las capas que enganchan). Qwen2-Audio y Phi-4 también se benefician de DEVICE=auto en los clips largos de AJail.

Datos

Descargue los cinco conjuntos de datos como se describe en data/README.md, luego construya los manifiestos:

El script verifica los recuentos de filas usados en el artículo: AJail 1.490, JALM 946, SACRED 1.364, XSTest 250, Benign_train 215. También escribe las divisiones de prueba en dominio (718 / 499 / 683 filas) a partir de las listas de ids en data/splits/.

Ejecutar AEGIS

Para cada modelo (PY es el Python del entorno de ese modelo; JUDGE_PY puede apuntar a un entorno diferente para Llama Guard):

Cada etapa es reanudable; vuelva a ejecutar el mismo comando tras una interrupción. Las salidas van a runs/<model>/:

Protocolo

• Configuraciones de evaluación. En dominio: AEGIS se entrena con la división de entrenamiento de un benchmark y se evalúa en su división de prueba reservada, un adaptador por benchmark. Las divisiones son 50/50, semilla 42, agrupadas por prompt para que las variantes de la misma solicitud permanezcan en un lado; los ids están en data/splits/. LOBO (dejar un benchmark fuera): AEGIS se entrena con los otros dos benchmarks y se evalúa en todo el benchmark reservado. En ambas configuraciones los datos evaluados nunca participan en la selección del umbral, y XSTest nunca se usa para entrenamiento.
• Datos de entrenamiento (scripts/build_trainsets.py). El audio benigno es Benign_train con las propias respuestas no defendidas del modelo como objetivos. Los prompts benignos que parecen dañinos y que el modelo rechazó en la línea base se descartan. Los objetivos dañinos son plantillas de rechazo genéricas. El número de clips dañinos es igual al número de clips benignos. Semilla 42.
• Optimización. AdamW, tasa de aprendizaje 2e-4, 4 épocas, acumulación de gradiente 8, rango LoRA 16, λ_BCE = 1.0, λ_L1 = 0.01.
• Prompt. Qwen2-Audio recibe solo el audio (PROMPT_MODE=native); los otros modelos reciben el audio más un prompt de texto fijo. La compuerta lee un estado oculto dependiente del prompt, por lo que un adaptador solo es válido bajo el modo de prompt con el que fue entrenado.
• Umbral (scripts/calibrate_threshold.py). Los ids de XSTest se ordenan y se dividen alternadamente en una mitad de validación y una mitad de prueba. El umbral es la puntuación de compuerta más pequeña cuya sobre-rechazo añadido en la mitad de validación sea como máximo del 10%, contado sobre prompts que el modelo no defendido respondió.
• Bucle cerrado. La probabilidad de rechazo suma la probabilidad del siguiente token de los inicios de rechazo en la última capa. Las ejecuciones en dominio usan la lista multilingüe de inicios (REFUSAL_PHRASE_SET=multi, establecida por run_aegis.sh), por lo que los rechazos en otros idiomas cuentan.
• Métricas (scripts/summarize.py): la tasa de inseguridad es la proporción de filas evaluadas que Llama-Guard-3-8B etiqueta como unsafe; el sobre-rechazo es la proporción de respuestas de XSTest que coinciden con aegis/refusal.py, reportada sobre los 250 prompts y sobre la mitad de prueba; el AUROC de la compuerta usa puntuaciones de compuerta sin procesar con los ataques como positivos y XSTest como negativos.

Ablaciones

Pruebas

Citación

Licencia

El código se publica bajo la Licencia MIT. Los modelos base (p. ej. Gemma 4, Llama 3.1 en Ultravox, Llama-Guard-3-8B) y los benchmarks conservan sus propias licencias y términos de uso.