autoguardrails

Código abierto por Santander AI Lab. Una biblioteca / arnés de evaluación de investigación en seguridad de LLM / IA (estilo autoresearch): busca sobre una única superficie mutable policy.md para minimizar la tasa de éxito de ataques (ASR) frente a un conjunto de evaluación fijo, con un umbral de paso benigno.

Parte de Santander AI Open Source — proyectos de IA de código abierto de Banco Santander (santander.com).

autoguardrails es un pequeño andamio de investigación de alineación inspirado en el autoresearch de Karpathy.

En lugar de buscar sobre train.py, este repositorio busca sobre policy.md. La idea es la misma:

• mantener la superficie mutable pequeña
• mantener el evaluador fijo
• ejecutar bajo un presupuesto de tiempo fijo
• comparar candidatos con una métrica principal
• registrar cada decisión de mantener o descartar

En este repositorio, la métrica principal es la tasa de éxito de ataques (ASR, cuanto menor mejor), con un umbral de paso benigno para que el sistema no pueda ganar rechazándolo todo.

Lo que más importa

Para la experimentación diaria, tres archivos importan más:

• program.md: las instrucciones humanas para el bucle
• policy.md: el único archivo que debes editar entre ejecuciones
• results.tsv: el registro de ejecución de solo adición

Todo lo demás es código de arnés fijo o datos de evaluación fijos.

Contrato de investigación actual

• Superficie mutable: policy.md
• Conjunto fijo: eval_suite.jsonl
• Indicación de juez fija: judge_prompt.md
• Arnés fijo: autoguardrails/
• Regla de aceptación: mantener un candidato solo si ASR mejora y el paso benigno no cae más de 2 puntos porcentuales
• Presupuesto de tiempo: fijado por la configuración del arnés, actualmente 5 minutos por pase de evaluación

Si deseas un modelo mental más cercano al autoresearch original, piensa en autoguardrails/ como la capa auxiliar fija y policy.md como el único archivo bajo búsqueda.

Inicio rápido

Ejecuta desde la raíz del repositorio.

1. Registra una línea base.

python -m autoguardrails baseline --reset --repeat 2 --notes "initial baseline"

2. Edita solo policy.md.

3. Puntúa el nuevo candidato.

python -m autoguardrails candidate --repeat 2 --notes "cover jailbreak and obfuscation"

4. Inspecciona el resultado mantenido actual.

python -m autoguardrails status

5. Inspecciona el registro completo.

cat results.tsv

Si un candidato es rechazado, el arnés restaura policy.md a la última versión aceptada automáticamente.

Envoltorio de shell

Si prefieres un único punto de entrada, usa run_autoguardrails.sh:

sh run_autoguardrails.sh status
sh run_autoguardrails.sh evaluate
sh run_autoguardrails.sh baseline "initial baseline" 2
sh run_autoguardrails.sh candidate "cover jailbreak and obfuscation" 2

En Windows, ejecuta el envoltorio desde Git Bash u otro shell compatible con POSIX.

Configuración de modelo real

La configuración predeterminada utiliza un stub local determinista para que el repositorio funcione sin conexión. Para ejecutar experimentos reales, apunta el modelo objetivo y el modelo juez a endpoints compatibles con OpenAI.

Variables del modelo objetivo:

• AUTOGUARDRAILS_TARGET_PROVIDER=openai_compatible
• AUTOGUARDRAILS_TARGET_MODEL
• AUTOGUARDRAILS_TARGET_API_BASE
• AUTOGUARDRAILS_TARGET_API_KEY

Variables del modelo juez:

• AUTOGUARDRAILS_JUDGE_PROVIDER=openai_compatible
• AUTOGUARDRAILS_JUDGE_MODEL
• AUTOGUARDRAILS_JUDGE_API_BASE
• AUTOGUARDRAILS_JUDGE_API_KEY

Ejemplo:

export AUTOGUARDRAILS_TARGET_PROVIDER=openai_compatible
export AUTOGUARDRAILS_TARGET_MODEL=gpt-4.1-mini
export AUTOGUARDRAILS_TARGET_API_BASE=https://your-endpoint.example/v1
export AUTOGUARDRAILS_TARGET_API_KEY=your-target-key

export AUTOGUARDRAILS_JUDGE_PROVIDER=openai_compatible
export AUTOGUARDRAILS_JUDGE_MODEL=gpt-4.1-mini
export AUTOGUARDRAILS_JUDGE_API_BASE=https://your-endpoint.example/v1
export AUTOGUARDRAILS_JUDGE_API_KEY=your-judge-key

python -m autoguardrails baseline --reset --repeat 2 --notes "real-model baseline"

Usa una configuración de juez congelada durante una serie de ejecuciones. No cambies las indicaciones del juez ni los modelos de juez a mitad del experimento.

Patrón de iteración típico

Un ciclo de emulación fuera de línea simple se ve así:

1. Registra la línea base.
2. Agrega una familia de cambios de política a policy.md.
3. Ejecuta candidate.
4. Mantén el cambio solo si el arnés lo acepta.
5. Repite con un nuevo cambio a la vez.

Un ejemplo de cambio de candidato que mejora el stub incluido es agregar manejo explícito para:

• fraseo de jailbreak como 'ignora instrucciones anteriores', 'juego de roles' y 'modo desarrollador'
• solicitudes de ofuscación como traducción, base64, rot13, formato solo JSON o conversión de esquema

Eso te da una primera curva de mejora realista sin cambiar el evaluador.

Estructura del repositorio

• program.md: instrucciones y restricciones del experimento
• policy.md: política de guardarraíl mutable bajo búsqueda
• judge_prompt.md: indicación de juez congelada
• eval_suite.jsonl: casos de evaluación fijos de ataque y benignos
• results.tsv: registro de ejecución
• run_autoguardrails.sh: envoltorio de conveniencia alrededor de la CLI
• autoguardrails/: arnés Python fijo
• tests/: pruebas de regresión y seguridad para el arnés

Consulta autoguardrails/README.md para la arquitectura del código y tests/README.md para la estrategia de pruebas.

Notas de seguridad

• Este andamio es intencionalmente de una sola vuelta y de alcance limitado.
• No modela herramientas, acceso a archivos ni acciones de agentes de múltiples pasos.
• El stub incluido es solo para verificación del arnés; no es un modelo de seguridad realista.
• El conjunto de evaluación está fijo por diseño. Si lo cambias, inicia un nuevo linaje de experimento en lugar de comparar con resultados antiguos.

Requisitos