CEREBRO-RED v2 (Research Edition)

Suite autónoma de Red Teaming para LLM locales

Un framework de grado de investigación para el descubrimiento automatizado de vulnerabilidades en LLM locales mediante Fuzzing Agéntico y Mutación Adversaria Adaptativa (AAM).

Objetivos de Investigación

• Implementar el algoritmo PAIR (Refinamiento Iterativo Automático de Prompts) de arxiv.org/abs/2310.08419
• Evaluación semántica LLM-as-a-Judge con razonamiento de Cadena de Pensamiento
• Arquitectura Telemetría-Primero para análisis de calidad de whitepaper
• Soporte multi-proveedor de LLM (Ollama, Azure OpenAI, OpenAI)

Arquitectura

Stack Tecnológico

• Backend: FastAPI (async/await), Pydantic (tipos estrictos), Uvicorn
• Gateway de LLM: litellm (adaptador universal para Ollama/Azure/OpenAI)
• Base de datos: SQLite (experimentos) + JSONL (registros de auditoría)
• Frontend: React + Vite + TailwindCSS + ShadcnUI + Recharts
• Contenedores: Docker + Docker Compose

Arquitectura del sistema que muestra los componentes principales y el flujo de datos

Módulos principales

1. Orquestador (backend/core/engine.py): Procesamiento asíncrono por lotes con backoff exponencial
2. Mutador (backend/core/mutator.py): algoritmo PAIR con estrategias de mutación
3. Juez (backend/core/judge.py): LLM-as-a-Judge con evaluación CoT
4. Telemetría (backend/core/telemetry.py): registrador de auditoría JSONL seguro para subprocesos (thread-safe)

Panel de control del Frontend

El frontend basado en React ofrece una interfaz completa para gestionar experimentos, supervisar el progreso y analizar resultados.

Interfaz principal del panel que muestra el resumen de experimentos y estadísticas

Vista de gestión de experimentos con actualizaciones de estado en tiempo real y lista de experimentos

Descripción general completa de la interfaz de usuario que muestra todas las funciones disponibles

Resultados y Análisis de Experimentos

Vista de resultados que muestra los resultados de los experimentos, hallazgos de vulnerabilidades y análisis detallado

Panel de ajustes y configuración para personalizar los parámetros de los experimentos

Monitoreo en Tiempo Real

Panel de monitoreo en tiempo real con el progreso en vivo de los experimentos e indicadores de estado

Vista de telemetría que muestra registros de auditoría detallados, eventos del sistema y métricas de rendimiento

Vista detallada de registros con capacidades de filtrado y búsqueda

Panel de métricas de rendimiento y estadísticas

Resumen del estado del sistema que muestra comprobaciones de salud y estado de los componentes

Documentación de la API

Interfaz de documentación interactiva de la API con explorador de endpoints

Para documentación detallada de la arquitectura, consulta docs/ARCHITECTURE.md.

Inicio Rápido

Requisitos previos

• Docker 24.0+
• Docker Compose 2.20+
• Ollama ejecutándose en el host (o claves de API de Azure/OpenAI)

Configuración de Docker

Si Docker no está en ejecución, inicia el daemon de Docker:```bash

Start Docker daemon

sudo systemctl start docker

Enable Docker to start on boot

sudo systemctl enable docker

Add your user to the docker group (to run Docker without sudo)

sudo usermod -aG docker $USER

Apply group changes (logout/login or use newgrp)

newgrp docker

OR logout and login again for changes to take effect

**Verifique que Docker esté ejecutándose**:```bash
docker --version
docker compose version

Instalación

1. Clona el repositorio: ```bash git clone https://github.com/Leviticus-Triage/cerebro-red-v2.git cd cerebro-red-v2

2. Configurar el entorno: ```bash cp .env.example .env

   Edit .env with your LLM provider credentials

3. IMPORTANTE: Comprueba el puerto 8000 ```bash

   Falls Port 8000 belegt ist:

   lsof -i :8000 # Finde Prozess

   Oder ändere Port in .env: CEREBRO_PORT=8001

4. Iniciar Backend (IMPORTANTE - ¡debe ejecutarse!): ```bash

   Option 1: Automatisch (empfohlen)

   ./START_BACKEND.sh

   Option 2: Docker

   docker compose up -d cerebro-backend

   Option 3: Lokal

   cd backend uvicorn main:app --reload --port 9000

5. Verifica el estado del backend: ```bash curl http://localhost:9000/health

   Sollte {"status": "healthy", ...} zurückgeben

6. Ejecutar Quick Tests: ```bash ./QUICK_TEST_EXAMPLES.sh

7. Accede al panel:

   • API de backend: http://localhost:9000
   • UI de frontend: http://localhost:3000 (opcional: docker compose up -d cerebro-frontend)
   • Documentación de la API: http://localhost:9000/docs

   

   Interfaz de usuario del frontend que muestra la gestión y monitoreo de experimentos

---

Inicio rápido: Despliegue local vs en la nube

Despliegue local (Ollama)

Ideal para: pruebas centradas en la privacidad, sin costos de API, funcionamiento sin conexión.```bash

1. Install and start Ollama

curl -fsSL https://ollama.ai/install.sh | sh ollama pull llama3.2:3b ollama serve

2. Configure .env for local

cat > .env << 'EOF' TARGET_MODEL=ollama/llama3.2:3b ATTACKER_MODEL=ollama/llama3.2:3b JUDGE_MODEL=ollama/llama3.2:3b OLLAMA_BASE_URL=http://host.docker.internal:11434

Relaxed circuit breaker for local (slower responses)

CIRCUIT_BREAKER_FAILURE_THRESHOLD=15 CIRCUIT_BREAKER_TIMEOUT=120 CIRCUIT_BREAKER_JITTER_ENABLED=true EOF

3. Start services

docker compose up -d

4. Verify

curl http://localhost:9000/health | jq

### Despliegue en la nube (OpenAI)