CEREBRO-RED v2 (Исследовательская версия)

Автономный набор инструментов Red Teaming для локальных LLM

Фреймворк исследовательского уровня для автоматического обнаружения уязвимостей в локальных LLM с использованием Agentic Fuzzing и Adaptive Adversarial Mutation (AAM).

Цели исследования

• Реализация PAIR алгоритма (Prompt Automatic Iterative Refinement) из arxiv.org/abs/2310.08419
• LLM-как-судья семантическая оценка с рассуждением по цепочке мыслей
• Архитектура с приоритетом телеметрии для анализа уровня научной статьи
• Поддержка нескольких провайдеров LLM (Ollama, Azure OpenAI, OpenAI)

Архитектура

Технологический стек

• Бэкенд: FastAPI (async/await), Pydantic (строгие типы), Uvicorn
• LLM-шлюз: litellm (универсальный адаптер для Ollama/Azure/OpenAI)
• База данных: SQLite (эксперименты) + JSONL (журналы аудита)
• Фронтенд: React + Vite + TailwindCSS + ShadcnUI + Recharts
• Контейнеризация: Docker + Docker Compose

Архитектура системы, показывающая основные компоненты и поток данных

Основные модули

1. Оркестратор (backend/core/engine.py): асинхронная пакетная обработка с экспоненциальной задержкой
2. Мутатор (backend/core/mutator.py): PAIR алгоритм со стратегиями мутации
3. Судья (backend/core/judge.py): LLM-как-судья с оценкой CoT
4. Телеметрия (backend/core/telemetry.py): потокобезопасный журнал аудита в JSONL

Панель управления фронтенда

Фронтенд на React предоставляет комплексный интерфейс для управления экспериментами, мониторинга прогресса и анализа результатов.

Главный интерфейс панели управления, показывающий обзор экспериментов и статистику

Вид управления экспериментами с обновлениями статуса в реальном времени и списком экспериментов

Полный обзор пользовательского интерфейса, показывающий все доступные функции

Результаты экспериментов и анализ

Вид результатов, отображающий итоги экспериментов, обнаруженные уязвимости и детальный анализ

Панель настроек и конфигурации для настройки параметров экспериментов

Мониторинг в реальном времени

Панель мониторинга в реальном времени с индикаторами прогресса и статуса экспериментов

Вид телеметрии, показывающий детальные журналы аудита, системные события и метрики производительности

Детальный просмотр логов с возможностями фильтрации и поиска

Панель метрик производительности и статистики

Обзор статуса системы, показывающий проверки работоспособности и статус компонентов

Документация API

Интерактивный интерфейс документации API с обозревателем конечных точек

Подробную документацию по архитектуре см. в docs/ARCHITECTURE.md.

Быстрый старт

Предварительные требования

• Docker 24.0+
• Docker Compose 2.20+
• Запущенный Ollama на хосте (или ключи API Azure/OpenAI)

Настройка Docker

Если Docker не запущен, запустите демон Docker:```bash

Start Docker daemon

sudo systemctl start docker

Enable Docker to start on boot

sudo systemctl enable docker

Add your user to the docker group (to run Docker without sudo)

sudo usermod -aG docker $USER

Apply group changes (logout/login or use newgrp)

newgrp docker

OR logout and login again for changes to take effect

**Проверьте, что Docker запущен**:```bash
docker --version
docker compose version

Установка

1. Клонируйте репозиторий: ```bash git clone https://github.com/Leviticus-Triage/cerebro-red-v2.git cd cerebro-red-v2

2. Настройте окружение: ```bash cp .env.example .env

   Edit .env with your LLM provider credentials

3. ВАЖНО: Проверьте порт 8000 ```bash

   Falls Port 8000 belegt ist:

   lsof -i :8000 # Finde Prozess

   Oder ändere Port in .env: CEREBRO_PORT=8001

4. Запустите бэкенд (WICHTIG - muss laufen!): ```bash

   Option 1: Automatisch (empfohlen)

   ./START_BACKEND.sh

   Option 2: Docker

   docker compose up -d cerebro-backend

   Option 3: Lokal

   cd backend uvicorn main:app --reload --port 9000

5. Проверить статус бэкенда: ```bash curl http://localhost:9000/health

   Sollte {"status": "healthy", ...} zurückgeben

6. Выполнить быстрые тесты: ```bash ./QUICK_TEST_EXAMPLES.sh

7. Панель управления:

   • Backend API: http://localhost:9000
   • Frontend UI: http://localhost:3000 (опционально: docker compose up -d cerebro-frontend)
   • API Docs: http://localhost:9000/docs

   

   Пользовательский интерфейс фронтенда, показывающий управление экспериментами и мониторинг

---

Быстрый старт: локальное и облачное развертывание

Локальное развертывание (Ollama)

Лучше всего подходит для: тестирования с приоритетом конфиденциальности, без затрат на API, работы в офлайн-режиме.```bash

1. Install and start Ollama

curl -fsSL https://ollama.ai/install.sh | sh ollama pull llama3.2:3b ollama serve

2. Configure .env for local

cat > .env << 'EOF' TARGET_MODEL=ollama/llama3.2:3b ATTACKER_MODEL=ollama/llama3.2:3b JUDGE_MODEL=ollama/llama3.2:3b OLLAMA_BASE_URL=http://host.docker.internal:11434

Relaxed circuit breaker for local (slower responses)

CIRCUIT_BREAKER_FAILURE_THRESHOLD=15 CIRCUIT_BREAKER_TIMEOUT=120 CIRCUIT_BREAKER_JITTER_ENABLED=true EOF

3. Start services

docker compose up -d

4. Verify

curl http://localhost:9000/health | jq

### Развертывание в облаке (OpenAI)

Лучше всего подходит для: более быстрых ответов, мутаций более высокого качества, производственного тестирования.```bash
# 1. Configure .env for cloud
cat > .env << 'EOF'
TARGET_MODEL=openai/gpt-4o-mini
ATTACKER_MODEL=openai/gpt-4o-mini
JUDGE_MODEL=openai/gpt-4o-mini
OPENAI_API_KEY=sk-your-key-here

# Standard circuit breaker for cloud
CIRCUIT_BREAKER_FAILURE_THRESHOLD=10
CIRCUIT_BREAKER_TIMEOUT=60
CIRCUIT_BREAKER_JITTER_ENABLED=true
EOF

# 2. Start services
docker compose up -d