OASIS

Estándar de Inteligencia de Seguridad Ofensiva con IA — Evaluación comparativa de seguridad con IA de código abierto.

Evalúa cómo los modelos de IA realizan tareas de seguridad ofensiva: descubrimiento de vulnerabilidades, explotación, escalada de privilegios y más. Análisis completo con mapeo MITRE ATT&CK, puntuación de comportamiento e informes detallados. Todo se ejecuta localmente con tus propias claves API. No se requiere cuenta, ningún dato sale de tu máquina.

¿Por qué OASIS?

Los modelos de IA son cada vez más capaces en seguridad ofensiva. Necesitamos visibilidad reproducible y transparente sobre cómo se desempeñan, no a puertas cerradas, sino en abierto donde la comunidad de seguridad pueda verificar, contribuir y mejorar.

OASIS proporciona:

• Desafíos estandarizados en contenedores Docker (estilo CTF, aislados, reproducibles)
• Evaluación comparativa multi-proveedor a través de Claude, GPT, Grok, Gemini, Ollama y endpoints personalizados
• Análisis automatizado con mapeo MITRE ATT&CK, clasificación OWASP y puntuación de comportamiento
• El modelo de puntuación KSM que combina la calidad de la metodología con la tasa de éxito

Inicio rápido

Requisitos previos

• Node.js >= 18
• Docker Desktop (en ejecución)
• Una clave API de cualquier proveedor compatible (o Ollama para modelos locales)

Instalar y ejecutar

npm install -g @kryptsec/oasis

# Inicia el modo interactivo: te guía paso a paso
oasis

O usa la CLI directamente:

# 1. Configura tu clave API
oasis config set api-key anthropic sk-ant-xxx

# 2. Clona los desafíos
git clone https://github.com/kryptsec/oasis-challenges.git challenges

# 3. Inicia un entorno de desafío
cd challenges/gatekeeper && docker compose up -d && cd ../..

# 4. Ejecuta una evaluación comparativa
oasis run -c gatekeeper -m claude-sonnet-4-5-20250929 -p anthropic

# 5. Ver los resultados
oasis results list
oasis report <run-id> --format md

# 6. Compartir resultados
oasis report <run-id> -f share --clipboard    # Copiar tarjeta de uso compartido en Markdown
oasis report <run-id> -f html -o report.html  # Informe HTML independiente

Cómo funciona

┌─────────────┐     ┌──────────────┐     ┌──────────────┐     ┌────────────┐
│  Desafío    │────>│   Agente IA  │────>│  Analizador  │────>│  Informe   │
│  (Docker)   │     │  (LLM + Kali)│     │  (Juez LLM)  │     │ (KSM/ATT&CK)│
└─────────────┘     └──────────────┘     └──────────────┘     └────────────┘

1. Desafío — Un entorno Docker con un objetivo vulnerable y un contenedor de ataque Kali
2. Agente — El modelo de IA ejecuta comandos en Kali, intentando encontrar y explotar vulnerabilidades
3. Analizador — Un LLM separado evalúa la transcripción: calidad de la técnica, eficiencia, adaptabilidad
4. Informe — Resultados puntuados con mapeos MITRE ATT&CK, clasificaciones OWASP y calificación KSM

Desafíos disponibles

Los desafíos viven en un repositorio separado y son contribuciones de la comunidad:

También puedes crear tus propios desafíos.

Puntuación (KSM)

El Modelo de puntuación Kryptsec combina calidad de la metodología, tasa de éxito y eficiencia de tokens:

Condición de eficacia:

El resultado se multiplica luego por el factor de eficiencia de tokens. Los modelos que queman tokens excesivos por paso son penalizados, hasta un 30% en casos de ineficiencia extrema. Por debajo del umbral de 1500 tokens/paso no se aplica penalización.

Cada ejecución también recibe un desglose detallado de la rúbrica: puntuación objetiva (captura de bandera, bonificaciones de tiempo/eficiencia), seguimiento de hitos, evaluación cualitativa y penalizaciones.

Consulta KSM-SCORING.md para la especificación completa.

Proveedores compatibles

Las listas de modelos se obtienen en vivo desde las API de los proveedores cuando se configura una clave API. Se muestran listas de ejemplo de respaldo cuando no hay clave disponible.

Alias: claude → anthropic, grok → xai, gemini → google

Comandos

Ejecuta cualquier comando con --help para ver todas las opciones.

Análisis

Después de cada evaluación comparativa, OASIS utiliza un LLM (Claude Sonnet por defecto) para producir:

• Mapeo MITRE ATT&CK — Cada paso clasificado en técnicas y sub-técnicas específicas
• Clasificación OWASP Top 10 — Vulnerabilidades mapeadas a las categorías OWASP 2021
• Narrativa del ataque — Resumen ejecutivo y recorrido detallado
• Análisis de comportamiento — Enfoque clasificado como metódico, agresivo, exploratorio o dirigido
• Puntuación por rúbrica — Métricas objetivas, seguimiento de hitos, evaluación cualitativa, penalizaciones

El análisis usa tu clave API de Anthropic por defecto. Para usar un proveedor diferente para la evaluación comparativa manteniendo Anthropic para el análisis:

oasis config set api-key anthropic sk-ant-xxx     # Para análisis
oasis run -c gatekeeper -m gpt-4o -p openai       # Evaluación comparativa con OpenAI

Configuración

La configuración se almacena en ~/.config/oasis/ (compatible con XDG):

• config.json — Ajustes (modelo por defecto, proveedor, rutas)
• credentials.json — Claves API (solo locales, permisos restringidos, nunca se transmiten)

Variables de entorno

Creación de desafíos

Los desafíos son entornos CTF basados en Docker. Cada desafío necesita:

• challenge.json — Metadatos, rúbrica de puntuación, bandera e información del objetivo
• docker-compose.yml — Servicio objetivo + contenedor de ataque Kali

cp -r challenges/_template challenges/mi-desafio
# Editar challenge.json y docker-compose.yml
oasis validate challenges/mi-desafio

Consulta la Especificación completa del desafío y los desafíos existentes para ver ejemplos.

Desarrollo

git clone https://github.com/kryptsec/oasis.git
cd oasis
npm install
npm run build

# Ejecutar localmente
node dist/index.js --help

# Modo desarrollo (tsx, sin paso de compilación)
npm run dev -- run -c gatekeeper -m claude-sonnet-4-5-20250929

# Pruebas
npm test

Contribuciones

¡Las contribuciones son bienvenidas! Ya sean nuevos desafíos, soporte para proveedores, correcciones de errores o documentación:

1. Haz un fork del repositorio
2. Crea una rama de funcionalidad
3. Realiza tus cambios
4. Ejecuta npm test para verificar
5. Abre un Pull Request

Para contribuciones de desafíos, envía a oasis-challenges.

Licencia

MIT — Kryptsec