CEREBRO-RED v2 (Research Edition)

Autonomous Local LLM Red Teaming Suite

Um framework de nível de pesquisa para descoberta automatizada de vulnerabilidades em LLMs locais, utilizando Fuzzing Agentic e Mutação Adversarial Adaptativa (AAM).

Metas de Pesquisa

• Implementar Algoritmo PAIR (Prompt Automatic Iterative Refinement) de arxiv.org/abs/2310.08419
• Avaliação semântica LLM-como-Juiz com raciocínio em Cadeia-de-Pensamento
• Arquitetura Telemetria-Primeiro para análise de nível de whitepaper
• Suporte a múltiplos provedores de LLM (Ollama, Azure OpenAI, OpenAI)

Arquitetura

Pilha Tecnológica

• Backend: FastAPI (async/await), Pydantic (tipos estritos), Uvicorn
• Gateway LLM: litellm (adaptador universal para Ollama/Azure/OpenAI)
• Banco de Dados: SQLite (experimentos) + JSONL (logs de auditoria)
• Frontend: React + Vite + TailwindCSS + ShadcnUI + Recharts
• Container: Docker + Docker Compose

Arquitetura do sistema mostrando componentes principais e fluxo de dados

Módulos Principais

1. Orquestrador (backend/core/engine.py): Processamento assíncrono em lote com backoff exponencial
2. Mutador (backend/core/mutator.py): Algoritmo PAIR com estratégias de mutação
3. Juiz (backend/core/judge.py): LLM-como-Juiz com avaliação CoT
4. Telemetria (backend/core/telemetry.py): Logger de auditoria JSONL thread-safe

Painel Frontend

O frontend baseado em React oferece uma interface abrangente para gerenciar experimentos, monitorar progresso e analisar resultados.

Interface principal do painel mostrando visão geral dos experimentos e estatísticas

Visão de gerenciamento de experimentos com atualizações de status em tempo real e lista de experimentos

Visão geral completa da interface do usuário mostrando todos os recursos disponíveis

Resultados e Análise de Experimentos

Visão de resultados exibindo desfechos do experimento, descobertas de vulnerabilidades e análise detalhada

Painel de configurações para personalizar parâmetros do experimento

Monitoramento em Tempo Real

Painel de monitoramento em tempo real com progresso ao vivo e indicadores de status

Visão de telemetria mostrando logs de auditoria detalhados, eventos do sistema e métricas de desempenho

Visão de logs detalhados com capacidades de filtragem e pesquisa

Painel de métricas e estatísticas de desempenho

Visão geral do status do sistema mostrando verificações de integridade e status dos componentes

Documentação da API

Interface interativa de documentação da API com explorador de endpoints

Para documentação detalhada da arquitetura, consulte docs/ARCHITECTURE.md.

Início Rápido

Pré-requisitos

• Docker 24.0+
• Docker Compose 2.20+
• Ollama em execução no host (ou chaves de API Azure/OpenAI)

Configuração Docker

Se o Docker não estiver em execução, inicie o daemon Docker:```bash

Start Docker daemon

sudo systemctl start docker

Enable Docker to start on boot

sudo systemctl enable docker

Add your user to the docker group (to run Docker without sudo)

sudo usermod -aG docker $USER

Apply group changes (logout/login or use newgrp)

newgrp docker

OR logout and login again for changes to take effect

**Verifique se o Docker está em execução**:```bash
docker --version
docker compose version

Instalação

1. Clone o repositório: ```bash git clone https://github.com/Leviticus-Triage/cerebro-red-v2.git cd cerebro-red-v2

2. Configurar ambiente: ```bash cp .env.example .env

   Edit .env with your LLM provider credentials

3. IMPORTANTE: Verifique a porta 8000 ```bash

   Falls Port 8000 belegt ist:

   lsof -i :8000 # Finde Prozess

   Oder ändere Port in .env: CEREBRO_PORT=8001

4. Iniciar Backend (IMPORTANTE - deve estar em execução!): ```bash

   Option 1: Automatisch (empfohlen)

   ./START_BACKEND.sh

   Option 2: Docker

   docker compose up -d cerebro-backend

   Option 3: Lokal

   cd backend uvicorn main:app --reload --port 9000

5. Verifique o status do backend: ```bash curl http://localhost:9000/health

   Sollte {"status": "healthy", ...} zurückgeben

6. Executar Testes Rápidos: ```bash ./QUICK_TEST_EXAMPLES.sh

7. Acessar painel:

   • API do Backend: http://localhost:9000
   • Frontend UI: http://localhost:3000 (opcional: docker compose up -d cerebro-frontend)
   • Documentação da API: http://localhost:9000/docs

   

   Interface frontend mostrando gerenciamento e monitoramento de experimentos

---

Início Rápido: Implantação Local vs Nuvem

Implantação Local (Ollama)

Ideal para: testes focados em privacidade, sem custos de API, operação offline.```bash

1. Install and start Ollama

curl -fsSL https://ollama.ai/install.sh | sh ollama pull llama3.2:3b ollama serve

2. Configure .env for local

cat > .env << 'EOF' TARGET_MODEL=ollama/llama3.2:3b ATTACKER_MODEL=ollama/llama3.2:3b JUDGE_MODEL=ollama/llama3.2:3b OLLAMA_BASE_URL=http://host.docker.internal:11434