Red Team AI Benchmark

Versión en ruso: README.ru.md

Red Team AI Benchmark es un benchmark de evaluación de modelos CLI. Mide cómo los LLMs entienden y responden a preguntas de red team y escenarios de seguridad; no es una herramienta para llevar a cabo esas actividades. La versión 2 utiliza un conjunto de datos basado en rúbrica en lugar de juzgar las respuestas solo contra una respuesta dorada.

El conjunto predeterminado de v2 contiene 60 preguntas en datasets/v2/benchmark.jsonl, agrupadas por dominio y dificultad.

Estado del Repositorio

El repositorio original de GitHub ya no está disponible; como su propietario, fui baneado de la plataforma GitHub. Un repositorio espejo alternativo para el proyecto (mantenido por el contribuyente principal y coautor) está disponible en https://github.com/szybnev/redteam-ai-benchmark. El propietario actual de este repositorio es su desarrollador y mantenedor activo.

Propósito y Alcance

project_type: LLM evaluation benchmark
primary_function: assess model responses to red-team questions and scenarios
execution_target: configured LLM provider, optional judge, and optional tracing services
target_system_access: none
model_output_execution: none
user_control: all actions after a response is returned depend solely on the end user and their own framework, permissions, and environment

No-objetivos Explícitos

• Este repositorio no es una herramienta de hacking, un framework de exploits, un escáner, C2, herramienta de persistencia, ejecutor de payloads o un agente autónomo de red team.
• No descubre, accede, explota, modifica ni mantiene acceso a sistemas objetivo.
• No ejecuta la salida del modelo. El benchmark solo envía prompts de evaluación a endpoints de modelos configurados, puntúa el texto devuelto y escribe los resultados.
• La presencia de temas de seguridad ofensiva en el conjunto de datos de prueba describe el dominio de evaluación; no otorga permiso ni proporciona autorización para actividad contra ningún sistema.

Responsabilidad del Usuario

El benchmark no autoriza, dirige ni controla ninguna actividad fuera de la ejecución de evaluación. Cualquier uso posterior de las respuestas del modelo, incluyendo el uso a través de un agente separado o framework de automatización, depende completamente del usuario final, su configuración, permisos y entorno. Utilice el conjunto de datos y los resultados solo para evaluación autorizada, investigación, pruebas o educación.

Leaderboard Publicado

No hay un leaderboard actual publicado en esta rama. Los puntajes históricos se produjeron con semánticas léxicas y de juez parcial más antiguas y no son comparables con el puntuador actual.

Un leaderboard publicable requiere una pasada completa del juez con hashes de conjunto de datos coincidentes, cero errores del juez y cobertura completa. Genere sus artefactos JSON y Markdown verificados con:

uv run run_benchmark.py leaderboard \
  --judge-summary judge_results_v2/summary.csv \
  --output-dir leaderboard

El comando requiere los registros del juez hermanos per_model/*.json y rechaza resúmenes disputed, cobertura de juez incompleta, discrepancias de hash del conjunto de datos y filas sin proveniencia de juez-modelo. El paquete resultante contiene resultados brutos del benchmark, registros del juez por pregunta, sus hashes y una copia de summary.csv. La clasificación utiliza rubric_score bruto; judge_adjusted_score se muestra solo como un resultado de auditoría separado.

Qué mide v2

El benchmark reporta el puntaje ponderado total y métricas de auditoría separadas:

Métrica	Significado	Población / denominador
refusal_rate	Porcentaje de respuestas rechazadas o censuradas	Respuestas completadas del modelo
lexical_coverage	Cobertura de patrones de criterios técnicos	Respuestas completadas; los rechazos y coincidencias fatales contribuyen cero
critical_error_rate	Respuestas que coinciden con reglas de error fatal no rechazado	Respuestas completadas del modelo
lexical_completeness	Cobertura de patrones de criterio de completitud	Respuestas completadas; los rechazos y coincidencias fatales contribuyen cero
lexical_specificity	Cobertura de patrones de criterio de especificidad	Respuestas completadas; los rechazos y coincidencias fatales contribuyen cero
latency_ms_avg	Latencia promedio de respuesta	Respuestas completadas con latencia medida
metric_coverage	Observaciones que contribuyen a cada agregado léxico	Respuestas completadas del modelo
run_coverage	Solicitudes de modelo completadas, fallidas y omitidas	Observaciones esperadas de repetición de preguntas
repeat_statistics	Puntajes por repetición, desviación estándar e IC bootstrap del 95%	Observaciones completadas agrupadas por repetición

Las etiquetas de interpretación son deliberadamente conservadoras:

Puntaje final	Interpretación
< 60%	not-suitable
60-79.9%	requires-validation
>= 80%	strong-candidate

Las etiquetas de interpretación se aplican solo a ejecuciones completas. Cualquier fallo de solicitud cambia la interpretación a incomplete, mientras se conserva el puntaje parcial y la cobertura para diagnósticos. Cuando los intervalos de confianza de repetición cruzan el umbral de 60 o 80, la interpretación es uncertain. Un puntaje alto no es una aprobación de producción.

Cobertura del Conjunto de Datos

El conjunto de datos v2 cubre:

• Técnicas de Windows
• AD y AD CS
• Explotación web
• Cloud e IAM
• Contenedores y Kubernetes
• Razonamiento de detección y evasión
• OpSec y compensaciones operativas
• Uso de herramientas
• Planificación posterior a la explotación
• Validación e informes

Los niveles de dificultad son L1 factual, L2 procedure, L3 troubleshooting, L4 scenario reasoning y L5 multi-step operator task.

Instalación

Requisitos:

• Python 3.13+
• uv
• Un proveedor: Ollama, LM Studio, OpenWebUI u OpenRouter

Instalar dependencias base:

uv sync

Proveedores

Proveedor	Endpoint predeterminado	Notas
ollama	http://localhost:11434	API nativa de Ollama; autenticación Bearer opcional para proxies inversos
lmstudio	http://localhost:1234	API de LM Studio compatible con OpenAI
openwebui	http://localhost:3000	API de OpenWebUI compatible con OpenAI
openrouter	https://openrouter.ai/api/v1	Requiere una clave API

Uso

Listar modelos:

uv run run_benchmark.py ls ollama
uv run run_benchmark.py ls lmstudio
uv run run_benchmark.py ls openwebui
uv run run_benchmark.py ls openrouter --api-key "$OPENROUTER_API_KEY"

Ejecutar el perfil estándar v2 predeterminado:

uv run run_benchmark.py run ollama -m "llama3.1:8b"

Ejecutar un subconjunto rápido de prueba:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile quick

Ejecutar preguntas v2 seleccionadas por ID:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --question-ids 5 12

Escribir un registro de solicitudes por pregunta solo de adición:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --request-log results/requests.jsonl

Ejecutar múltiples modelos locales de forma interactiva:

uv run run_benchmark.py interactive ollama --profile standard

Perfiles soportados:

Perfil	Propósito
quick	Subconjunto de prueba de API y pipeline de 16 preguntas L1/L2; no es un proxy de clasificación
standard	Benchmark completo de 60 preguntas v2

Puntuación