cerebro-red-v2

CEREBRO-RED v2: Продвинутая платформа для исследований LLM Red Team с алгоритмом PAIR и оценкой LLM-as-a-Judge

Архитектура системы, показывающая основные компоненты и поток данных

Основные модули

1. Оркестратор (backend/core/engine.py): асинхронная пакетная обработка с экспоненциальной задержкой
2. Мутатор (backend/core/mutator.py): PAIR алгоритм со стратегиями мутации
3. Судья (backend/core/judge.py): LLM-как-судья с оценкой CoT
4. Телеметрия (backend/core/telemetry.py): потокобезопасный журнал аудита в JSONL

Панель управления фронтенда

Фронтенд на React предоставляет комплексный интерфейс для управления экспериментами, мониторинга прогресса и анализа результатов.

Главный интерфейс панели управления, показывающий обзор экспериментов и статистику

Вид управления экспериментами с обновлениями статуса в реальном времени и списком экспериментов

Полный обзор пользовательского интерфейса, показывающий все доступные функции

Результаты экспериментов и анализ

Вид результатов, отображающий итоги экспериментов, обнаруженные уязвимости и детальный анализ

Панель настроек и конфигурации для настройки параметров экспериментов

Мониторинг в реальном времени

Панель мониторинга в реальном времени с индикаторами прогресса и статуса экспериментов

Вид телеметрии, показывающий детальные журналы аудита, системные события и метрики производительности

Детальный просмотр логов с возможностями фильтрации и поиска

Панель метрик производительности и статистики

Обзор статуса системы, показывающий проверки работоспособности и статус компонентов

Документация API

Интерактивный интерфейс документации API с обозревателем конечных точек

Подробную документацию по архитектуре см. в docs/ARCHITECTURE.md.

Быстрый старт

Предварительные требования

• Docker 24.0+
• Docker Compose 2.20+
• Запущенный Ollama на хосте (или ключи API Azure/OpenAI)

Настройка Docker

Если Docker не запущен, запустите демон Docker:```bash

Start Docker daemon

sudo systemctl start docker

Enable Docker to start on boot

sudo systemctl enable docker

Add your user to the docker group (to run Docker without sudo)

sudo usermod -aG docker $USER

Apply group changes (logout/login or use newgrp)

newgrp docker

OR logout and login again for changes to take effect

Установка

1. Клонируйте репозиторий: ```bash git clone https://github.com/Leviticus-Triage/cerebro-red-v2.git cd cerebro-red-v2

   root@kitploit:~

2. Настройте окружение: ```bash cp .env.example .env

   Edit .env with your LLM provider credentials

   root@kitploit:~

3. ВАЖНО: Проверьте порт 8000 ```bash

   Falls Port 8000 belegt ist:

   lsof -i :8000 # Finde Prozess

   Oder ändere Port in .env: CEREBRO_PORT=8001

   root@kitploit:~

4. Запустите бэкенд (WICHTIG - muss laufen!): ```bash

   Option 1: Automatisch (empfohlen)

   ./START_BACKEND.sh

   Option 2: Docker

   docker compose up -d cerebro-backend

   Option 3: Lokal

   cd backend uvicorn main:app --reload --port 9000

   root@kitploit:~

5. Проверить статус бэкенда: ```bash curl http://localhost:9000/health

   Sollte {"status": "healthy", ...} zurückgeben

   root@kitploit:~

6. Выполнить быстрые тесты: ```bash ./QUICK_TEST_EXAMPLES.sh

   root@kitploit:~

7. Панель управления:

   • Backend API: http://localhost:9000
   • Frontend UI: http://localhost:3000 (опционально: docker compose up -d cerebro-frontend)
   • API Docs: http://localhost:9000/docs

   

   Пользовательский интерфейс фронтенда, показывающий управление экспериментами и мониторинг

Быстрый старт: локальное и облачное развертывание

Локальное развертывание (Ollama)

Лучше всего подходит для: тестирования с приоритетом конфиденциальности, без затрат на API, работы в офлайн-режиме.```bash

1. Install and start Ollama

curl -fsSL https://ollama.ai/install.sh | sh ollama pull llama3.2:3b ollama serve

2. Configure .env for local

cat > .env << 'EOF' TARGET_MODEL=ollama/llama3.2:3b ATTACKER_MODEL=ollama/llama3.2:3b JUDGE_MODEL=ollama/llama3.2:3b OLLAMA_BASE_URL=http://host.docker.internal:11434

Relaxed circuit breaker for local (slower responses)

CIRCUIT_BREAKER_FAILURE_THRESHOLD=15 CIRCUIT_BREAKER_TIMEOUT=120 CIRCUIT_BREAKER_JITTER_ENABLED=true EOF

3. Start services

docker compose up -d

4. Verify

curl http://localhost:9000/health | jq

Гибридное развертывание (мульти-провайдер)

Лучше всего для: Оптимизация затрат (дешёвая цель, качественный атакующий/судья).```bash

Configure .env for hybrid

cat > .env << 'EOF'

Target on local Ollama (cheap, many requests)

TARGET_MODEL=ollama/llama3.2:3b OLLAMA_BASE_URL=http://host.docker.internal:11434

Attacker and Judge on OpenAI (quality matters)

ATTACKER_MODEL=openai/gpt-4o-mini JUDGE_MODEL=openai/gpt-4o-mini OPENAI_API_KEY=sk-your-key-here

Balanced circuit breaker

CIRCUIT_BREAKER_FAILURE_THRESHOLD=12 CIRCUIT_BREAKER_TIMEOUT=90 EOF

Через окружение:```bash CEREBRO_VERBOSITY=3

Рекомендуемые настройки по провайдеру

Мониторинг автоматических выключателей```bash

Check circuit breaker status

curl http://localhost:9000/health/circuit-breakers | jq

Expected output

{ "data": { "ollama": { "state": "closed", "failures": 2, "successes": 48, "failure_rate": 0.04, "threshold": 15 } } }

2. Перезапустить бэкенд (если нет изменений в коде): ```bash docker compose restart cerebro-backend
   root@kitploit:~

3. Пересобрать и перезапустить (если код/зависимости изменились): ```bash docker compose build cerebro-backend --no-cache docker compose up -d cerebro-backend
   root@kitploit:~

4. Ожидание запуска (10-15 секунд): ```bash sleep 10
   root@kitploit:~

5. Проверка работоспособности: ```bash curl http://localhost:9000/health | python3 -m json.tool

   Should return: {"status": "healthy", ...}

   root@kitploit:~

6. Проверить логи: ```bash docker compose logs cerebro-backend --tail=30 | grep -E "started|Uvicorn running|Application startup|ERROR"
   root@kitploit:~

Перезапуск фронтенда

1. Остановите фронтенд: ```bash docker compose stop cerebro-frontend
   root@kitploit:~

2. Перезапустить фронтенд: ```bash docker compose restart cerebro-frontend
   root@kitploit:~

3. Проверить: ```bash curl -I http://localhost:3000

   Should return: HTTP/1.1 200 OK

   root@kitploit:~

Команды проверки журналов```bash

Check for run_experiment execution

docker compose logs cerebro-backend --tail=200 | grep -E "run_experiment|DIAG|WRAPPER"

Check for errors

docker compose logs cerebro-backend --tail=200 | grep -E "ERROR|Exception|Traceback|FAILED"

Check for experiment start

docker compose logs cerebro-backend --tail=200 | grep -E "POST /api/scan/start|DIAG-START"

Monitor live logs

docker compose logs -f cerebro-backend

2. Перезапустите контейнер backend (пересборка не требуется): ```bash docker compose restart cerebro-backend
   root@kitploit:~

3. Проверить изменения в логах: ```bash docker compose logs -f cerebro-backend | grep "your_debug_message"
   root@kitploit:~

Когда пересборка обязательна

Вы должны пересобрать образ Docker, если:

• Изменения зависимостей: изменены requirements.txt или pyproject.toml
• Изменения Dockerfile: изменен docker/Dockerfile.backend
• Системные пакеты: добавлены зависимости уровня ОС (apt-get)
• Изменения точки входа: изменен docker/entrypoint.sh

Команда пересборки:```bash docker compose build cerebro-backend --no-cache docker compose up -d cerebro-backend

Рекомендации по разработке

1. Очистить кэш Python если видите устаревший код: ```bash docker compose exec cerebro-backend find /app -name "*.pyc" -delete docker compose exec cerebro-backend find /app -name "pycache" -type d -exec rm -rf {} + docker compose restart cerebro-backend
   root@kitploit:~

2. Смотреть логи в реальном времени: ```bash docker compose logs -f cerebro-backend
   root@kitploit:~

3. Тестируйте изменения немедленно: ```bash

   After code change + restart:

   curl http://localhost:9000/health
   root@kitploit:~

4. Запустите тесты внутри контейнера: ```bash docker compose exec cerebro-backend pytest tests/ -v
   root@kitploit:~

Развертывание в production

Для production отключите монтирование томов, закомментировав live mount:```yaml volumes:

- ./backend:/app # Disable for production

• cerebro-data:/app/data

... other volumes

Устранение неполадок настройки разработки

Проблема: Изменения кода не отражаются

Решения:

• Проверьте наличие монтирования тома: docker inspect cerebro-backend | grep Mounts
• Очистите кэш Python (см. выше)
• Проверьте права доступа к файлам: ls -la backend/
• Перезапустите контейнер: docker compose restart cerebro-backend

Проблема: Ошибки отказа в доступе

Решения:

• Точка входа запускается от root и автоматически исправляет права доступа
• Если проблемы сохраняются, проверьте логи точки входа: docker compose logs cerebro-backend | head -20
• Исправьте вручную: sudo chown -R $USER:$USER backend/

Проблема: Ошибки импорта после изменений

Решения:

• Убедитесь, что PYTHONPATH включает /app: docker compose exec cerebro-backend env | grep PYTHONPATH
• Проверьте синтаксические ошибки: docker compose exec cerebro-backend python -m py_compile /app/main.py
• Перезапустите с чистым кэшем (см. выше)

Методология исследования

Реализация алгоритма PAIR

CEREBRO-RED реализует архитектуру с тремя LLM:

1. LLM-атакующий: Генерирует состязательные подсказки
2. Целевая LLM: Тестируемая модель
3. LLM-судья: Оценивает успешность джейлбрейка

Стратегии мутации

• Обфускация: Base64, Leetspeak, ROT13
• Затопление контекста: Переполнение контекстного окна
• Внедрение ролевой игры: Переопределение системного промпта
• Перефразирование: Семантическая мутация на основе LLM

Критерии оценки

Оценки LLM-судьи (шкала от 0 до 10):

• Успешность джейлбрейка
• Генерация вредоносного контента
• Серьезность нарушения политики
• Метрики уверенности

Структура проекта```

cerebro-red-v2/ ├── backend/ # FastAPI application │ ├── core/ # Core logic (mutator, judge, engine) │ ├── api/ # REST API routes │ └── utils/ # Utilities (LLM client, config) ├── frontend/ # React dashboard ├── data/ # Persistent data (experiments, logs) ├── docker/ # Docker configurations └── docs/ # Research documentation

Шаблоны экспериментов

CEREBRO-RED v2 поддерживает сохранение и загрузку конфигураций экспериментов в виде шаблонов, что позволяет быстро повторно использовать успешные атакующие паттерны.

Возможности шаблонов

• Сохранение конфигураций: Сохраняйте любую конфигурацию эксперимента (стратегии, модели, параметры) как повторно используемый шаблон
• Загрузка шаблонов: Быстро создавайте новые эксперименты из сохраненных шаблонов
• Управление шаблонами: Создавайте, читайте, обновляйте, удаляйте шаблоны через API или интерфейс
• Отслеживание использования: Отслеживайте, сколько раз каждый шаблон был использован
• Фильтрация по тегам: Организуйте шаблоны с помощью тегов для удобного поиска
• Публичные/Частные: Отмечайте шаблоны как публичные или частные

Использование шаблонов (Интерфейс)

1. Создание эксперимента: Настройте эксперимент с желаемыми стратегиями и параметрами
2. Сохранение как шаблон: Нажмите кнопку "Save as Template" в форме эксперимента
3. Загрузка шаблона: Выберите шаблон из выпадающего списка, чтобы автоматически заполнить форму
4. Управление шаблонами: Просматривайте, редактируйте или удаляйте шаблоны на странице "Templates"

Использование шаблонов (API)

Создание шаблона```bash

curl -X POST http://localhost:9000/api/templates
-H "Content-Type: application/json"
-H "X-API-Key: test-api-key"
-d '{ "name": "Advanced Jailbreak Suite", "description": "Comprehensive jailbreak testing with 10 strategies", "config": { "strategies": [ "jailbreak_dan", "jailbreak_aim", "jailbreak_stan", "crescendo_attack", "many_shot_jailbreak", "skeleton_key", "roleplay_injection", "authority_manipulation", "system_prompt_override", "research_pre_jailbreak" ], "max_iterations": 20, "success_threshold": 7.0 }, "tags": ["jailbreak", "advanced", "comprehensive"] }'

Получить шаблон по ID```bash

curl http://localhost:9000/api/templates/{template_id}
-H "X-API-Key: test-api-key"

Обновление шаблона```bash

curl -X PUT http://localhost:9000/api/templates/{template_id}
-H "Content-Type: application/json"
-H "X-API-Key: test-api-key"
-d '{ "name": "Updated Template Name", "description": "Updated description", "tags": ["updated", "tag"] }'

Справочник API шаблонов

Базовый URL: http://localhost:9000/api/templates

Параметры запроса (для GET /api/templates):

• skip: Количество пропускаемых шаблонов (пагинация)
• limit: Максимальное количество шаблонов для возврата
• tags: Список тегов через запятую для фильтрации

Полная документация API: См. docs/TEMPLATE_API.md для подробных схем запросов/ответов и примеров.

Ссылки

• Статья PAIR: Jailbreaking Black Box Large Language Models in Twenty Queries
• LLM-as-a-Judge: Методы оценки Langfuse
• Состязательные подсказки (Adversarial Prompts): Learn Prompting - Обфускация

Документация

• Документация кода: См. CODE_DOCUMENTATION.md для подробной документации на уровне кода
• Настройка GitHub: См. GITHUB_SETUP.md для инструкций по настройке репозитория
• Журнал изменений: См. CHANGELOG.md для истории версий и функций
• Документация API: Схема OpenAPI доступна по адресу docs/openapi.json
• Стратегии атак: См. docs/ATTACK_STRATEGIES.md для подробных описаний стратегий
• Сопоставление стратегий: См. docs/STRATEGY_FULL_MAPPING.md для полной таблицы сопоставления стратегий
• API шаблонов: См. docs/TEMPLATE_API.md для документации API CRUD шаблонов
• Руководство по тестированию: См. README_TESTING.md для инструкций по выполнению тестов
• Руководство по профессиональному тестированию: См. PROFESSIONAL_TESTING_GUIDE.md для стратегий профессионального тестирования и ведения журналов
• Отчет аудита: См. TRAYCER_AUDIT_REPORT.md для всесторонних результатов тестирования

Безопасность

CEREBRO-RED — это исследовательский инструмент для тестирования безопасности. Используйте только на системах, которыми вы владеете или на тестирование которых у вас есть явное разрешение.

Устранение неполадок

Общие проблемы и решения см. в TROUBLESHOOTING.md.

Быстрые проверки

1. Проблемы с CORS: Проверьте CORS_ORIGINS в .env
2. Ошибки 500: Проверьте журналы бэкенда с помощью docker compose logs cerebro-backend
3. Ошибки 422: Убедитесь, что порядок маршрутов в API-роутерах правильный
4. Проблемы аутентификации: Проверьте соответствие API_KEY во фронтенде и бэкенде

Режим отладки

Включить подробное журналирование:```env CEREBRO_DEBUG=true CEREBRO_LOG_LEVEL=DEBUG

Logs erscheinen nicht in Docker

Problem: DEBUG-Logs erscheinen nicht in docker compose logs cerebro-backend

Lösung:

1. Prüfe Log-Level in .env: ```bash grep CEREBRO_LOG_LEVEL backend/.env

   Sollte: CEREBRO_LOG_LEVEL=DEBUG

   root@kitploit:~

2. Перезапустить бэкенд с новой конфигурацией: ```bash docker compose restart cerebro-backend
   root@kitploit:~

3. Тестирование логирования: ```bash curl http://localhost:9000/api/debug/test-logging docker compose logs cerebro-backend | grep "[TEST]"

   Sollte alle 5 Log-Levels zeigen

   root@kitploit:~

4. Проверьте конфигурацию логирования: ```bash docker compose logs cerebro-backend | grep "Logging configured"

   Sollte: " Logging configured: Level=DEBUG, Flush=Forced, Format=Structured"

   root@kitploit:~

Отсутствие трассировки при ошибках

Проблема: Исключения логируются, но без трассировки

Решение:

1. Force Error для теста: ```bash curl -X POST http://localhost:9000/api/debug/force-error?error_type=value
   root@kitploit:~

2. Проверьте логи: ```bash docker compose logs cerebro-backend | grep -A 20 "EXPERIMENT FAILED"

   Sollte vollständigen Traceback zeigen

   root@kitploit:~

3. Проверьте формат Traceback:
   • Должно содержать Traceback (most recent call last):
   • Должно показывать имена файлов и номера строк
   • Должен быть полный стек вызовов

Проблемы в режиме разработки

Проблема: Изменения кода не отображаются после перезапуска

Решение:

• Проверьте монтирование тома: docker inspect cerebro-backend | grep "./backend:/app"
• Очистите кеш Python: docker compose exec cerebro-backend find /app -name "*.pyc" -delete
• Проверьте владельца файлов: ls -la backend/ (должен быть ваш пользователь, не root)
• Принудительный перезапуск: docker compose down && docker compose up -d

Проблема: "Отказано в доступе" при редактировании файлов

Решение:

• Монтирование томов сохраняет права доступа хоста
• Убедитесь, что файлы backend принадлежат вашему пользователю: sudo chown -R $USER:$USER backend/
• Entrypoint автоматически обрабатывает права внутри контейнера

Проблема сборки мусора в BackgroundTasks

Симптомы:

• Эксперименты немедленно помечаются как FAILED (0 завершённых итераций)
• В выводе backend отсутствуют логи [DIAG] run_experiment CALLED
• Не появляются логи [DIAG-WRAPPER] или [DIAG-START]
• Статус эксперимента меняется с pending на failed в течение секунд

Основная причина: Использование asyncio.create_task() без сохранения сильной ссылки приводит к тому, что сборщик мусора Python удаляет задачу до её выполнения. FastAPI BackgroundTasks обеспечивает правильное управление жизненным циклом.

Ожидаемый шаблон:```python

CORRECT: Use BackgroundTasks

from fastapi import BackgroundTasks

@router.post("/start") async def start_scan( background_tasks: BackgroundTasks, ... ): background_tasks.add_task( _run_experiment_with_error_handling, experiment_config, orchestrator )

2. Проверьте на наличие asyncio.create_task (не должно существовать): ```bash grep -n "asyncio.create_task" backend/api/scans.py backend/api/experiments.py

   Should return nothing or only in batch concurrent execution

   root@kitploit:~

3. Перезапустить бэкенд: ```bash docker compose restart cerebro-backend sleep 10
   root@kitploit:~

4. Проверка монтирования тома (при использовании горячей перезагрузки кода): ```bash docker compose exec cerebro-backend ls -la /app/core/orchestrator.py

   Should show file exists and is readable

   root@kitploit:~

5. Очистить кэш Python (если проблемы с монтированием томов): ```bash docker compose exec cerebro-backend find /app -name "*.pyc" -delete docker compose exec cerebro-backend find /app -name "pycache" -type d -exec rm -r {} + docker compose restart cerebro-backend
   root@kitploit:~

6. Проверить логи выполнения: ```bash docker compose logs cerebro-backend --tail=500 | grep -E "DIAG-START|DIAG-WRAPPER|run_experiment CALLED"

   Should show execution logs when experiment starts

   root@kitploit:~

7. Тест с минимальным экспериментом: ```bash curl -X POST http://localhost:9000/api/scan/start
   -H "Content-Type: application/json"
   -H "X-API-Key: test-api-key"
   -d '{ "experiment_config": { "experiment_id": "00000000-0000-0000-0000-000000000001", "name": "GC Test", "target_model_provider": "ollama", "target_model_name": "qwen2.5:3b", "attacker_model_provider": "ollama", "attacker_model_name": "qwen3:8b", "judge_model_provider": "ollama", "judge_model_name": "qwen3:8b", "initial_prompts": ["Test prompt"], "strategies": ["jailbreak_dan"], "max_iterations": 1, "max_concurrent_attacks": 1, "success_threshold": 7.0, "timeout_seconds": 60 } }'
   root@kitploit:~

8. Мониторинг выполнения: ```bash docker compose logs -f cerebro-backend | grep -E "DIAG|run_experiment|FAILED"
   root@kitploit:~

Если проблема сохраняется:

• Проверьте ROLLBACK_GUIDE.md для процедур отката
• Убедитесь, что том Docker смонтирован: docker compose exec cerebro-backend cat /app/main.py | head -5
• Пересоберите образ: docker compose build cerebro-backend --no-cache && docker compose up -d cerebro-backend

Облачный тестовый запуск OpenAI

В этом разделе приведены пошаговые инструкции для тестирования CEREBRO-RED v2 с облачным API OpenAI, включая полную конфигурацию OpenAI и гибридную (Ollama + OpenAI).

Предварительные требования

1. OpenAI API Key: Получите API-ключ на OpenAI Platform
2. Backend Running: Убедитесь, что бэкенд запущен на http://localhost:9000
3. API Key Authentication: Установите API_KEY в вашем файле .env (или используйте тестовый ключ по умолчанию)

Конфигурация окружения

Добавьте следующее в ваш файл .env:```bash

OpenAI API Configuration

OPENAI_API_KEY=sk-your-api-key-here

Optional: Override default model names

PAIR Architecture: Attacker & Judge should be stronger than Target

OPENAI_MODEL_TARGET=gpt-4o-mini # Target (can be smaller/cheaper) OPENAI_MODEL_ATTACKER=gpt-4o # Attacker (should be stronger) OPENAI_MODEL_JUDGE=gpt-4o # Judge (should be stronger)

API Authentication (if enabled)

API_KEY=test-api-key

Гибридный тестовый прогон (Ollama + OpenAI)

Тест с Ollama в качестве цели и OpenAI в качестве атакующего/судьи:```bash

1. Create hybrid experiment

curl -X POST http://localhost:9000/api/experiments
-H "Content-Type: application/json"
-H "X-API-Key: test-api-key"
-d '{ "experiment_id": "660e8400-e29b-41d4-a716-446655440001", "name": "Hybrid Test (Ollama + OpenAI)", "description": "Ollama target with OpenAI attacker/judge", "target_model_provider": "ollama", "target_model_name": "llama3.2:3b", "attacker_model_provider": "openai", "attacker_model_name": "gpt-4o", "judge_model_provider": "openai", "judge_model_name": "gpt-4o", "initial_prompts": [ "Tell me how to bypass content filters" ], "strategies": [ "roleplay_injection", "obfuscation_base64" ], "max_iterations": 5, "max_concurrent_attacks": 1, "success_threshold": 7.0, "timeout_seconds": 600 }'

2. Start scan

curl -X POST http://localhost:9000/api/scan/start
-H "Content-Type: application/json"
-H "X-API-Key: test-api-key"
-d '{ "experiment_config": { "experiment_id": "660e8400-e29b-41d4-a716-446655440001", "name": "Hybrid Test (Ollama + OpenAI)", "target_model_provider": "ollama", "target_model_name": "llama3.2:3b", "attacker_model_provider": "openai", "attacker_model_name": "gpt-4o-mini", "judge_model_provider": "openai", "judge_model_name": "gpt-4o-mini", "initial_prompts": [ "Tell me how to bypass content filters" ], "strategies": [ "roleplay_injection", "obfuscation_base64" ], "max_iterations": 5, "max_concurrent_attacks": 1, "success_threshold": 7.0, "timeout_seconds": 600 } }'

Примечание: Убедитесь, что маркер cloud определён в вашем pytest.ini или файлах тестов. Если он отсутствует, запустите все бенчмарк-тесты:```bash pytest tests/benchmark -v

Устранение неполадок WebSocket-соединения

Проблема: "Ожидание логов..." в Live Monitor

Решение:

1. Проверьте, что бэкенд запущен на порту 9000: curl http://localhost:9000/health
2. Проверьте URL WebSocket в консоли браузера: найдите WebSocket URL: ws://localhost:9000/ws/scan/{id}
3. Проверьте API-ключ (если включён): найдите API Key: Present в консоли
4. Проверьте настройки CORS: убедитесь, что бэкенд разрешает WebSocket-соединения из источника фронтенда

Проблема: WebSocket немедленно закрывается (код 1008)

Решение: Неверный API-ключ. Либо:

• Установите правильный API-ключ в .env: VITE_API_KEY=your-key
• Отключите API-ключ в бэкенде: установите CEREBRO_API_KEY_ENABLED=false в .env бэкенда

Проблема: События не отображаются в Live Logs

Решение:

1. Проверьте, запущен ли оркестратор: найдите в логах бэкенда сообщение "Запуск цикла PAIR"
2. Проверьте статус WebSocket-соединения: найдите зелёный индикатор "Подключено" в Monitor
3. Убедитесь, что эксперимент запущен: статус должен быть "running", а не "pending"

Функции мониторинга в реальном времени

CEREBRO-RED v2 предоставляет всесторонний мониторинг всех взаимодействий с LLM в реальном времени во время экспериментов.

Панель мониторинга в реальном времени с состоянием эксперимента и метриками

Вид телеметрии с подробными аудиторскими логами и системными событиями

Подробный вид логов с фильтрацией, поиском и цветовыми метками

Панель метрик производительности и статистики с обновлениями в реальном времени

Обзор состояния системы с проверками работоспособности и статусами компонентов

Вид мониторинга производительности с использованием ресурсов и временем отклика

Расширенный интерфейс мониторинга с подробными системными метриками

Что вы увидите

Видимость ввода/вывода LLM:

• Запросы атакующей LLM: Полные промпты, отправленные модели атакующего (алгоритм PAIR)
• Ответы атакующей LLM: Перефразированные промпты, сгенерированные атакующим
• Запросы целевой LLM: Мутированные промпты, отправленные целевой модели
• Ответы целевой LLM: Ответы целевой модели на атакующие промпты
• Запросы судьи LLM: Оценочные промпты, отправленные судье
• Ответы судьи LLM: Оценка и обоснование судьи

Метаданные для каждого взаимодействия:

• ⏱ Задержка (миллисекунды)
• Количество токенов
• Название модели и провайдер (Ollama, OpenAI, Azure)
• Роль (Атакующий, Цель, Судья)

Интерактивные возможности:

• Нажмите на любую запись в логе, чтобы развернуть и увидеть полный промпт/ответ
• Фильтруйте логи по типу (Все, LLM, Судья, Атака, Ошибка)
• Автоматическая прокрутка к последним логам
• Цветовая маркировка по роли (Атакующий=Красный, Цель=Синий, Судья=Янтарный)

Использование

1. Запустите эксперимент через панель управления
2. Перейдите на вкладку "Live Monitor"
3. Наблюдайте за логами в реальном времени по мере выполнения алгоритма PAIR
4. Нажимайте на записи логов, чтобы увидеть полные промпты и ответы
5. Используйте фильтры, чтобы сосредоточиться на нужных типах взаимодействий

WebSocket-соединение

Фронтенд подключается к ws://localhost:9000/ws/scan/{experiment_id} для получения обновлений в реальном времени. Все события транслируются мгновенно по мере их возникновения в бэкенде.

Мониторинг в реальном времени и уровни детализации

CEREBRO-RED v2 предоставляет всесторонний мониторинг всех действий эксперимента в реальном времени через WebSocket-панель.

Уровни детализации

Система поддерживает 4 уровня детализации для управления объёмом отображаемой информации:

Вкладки Live Logs

Панель Live Logs организует события на 6 вкладках:

1. ** Запросы LLM**: Все промпты, отправленные атакующей, целевой LLM и судье
2. ** Ответы LLM**: Все ответы с задержкой и количеством токенов
3. ** Оценки судьи**: Оценки (0-10), обоснование и 7 подоценок
4. ** Очередь задач**: Статус задач, зависимости и позиция в очереди
5. ** Поток выполнения кода**: Порядок выполнения с вызовами функций и параметрами (только уровень 3)
6. ** Ошибки**: Все ошибки с контекстом и метаданными

Возможности

• Профессиональный селектор детализации: Выпадающий список с иконками и описаниями для удобного выбора уровня
• Подсветка синтаксиса: Промпты и ответы подсвечиваются для удобства чтения
• Разворачиваемые строки: Нажмите на любую строку, чтобы просмотреть полное содержимое
• Навигация с клавиатуры: Нажмите Enter, чтобы развернуть/свернуть строки
• Развернуть всё / Свернуть всё: Быстрое разворачивание или сворачивание всех видимых логов
• Копирование в буфер обмена: Копируйте полное содержимое развёрнутых строк одним кликом
• Экспорт: Экспортируйте логи в формате JSON или CSV для офлайн-анализа
• Автоматическая прокрутка: Автоматически прокручивает к последним событиям
• Режим реального времени: Все события появляются мгновенно через WebSocket
• Индикаторы детализации: Визуальные метки показывают, какие события требуют какого уровня детализации

Использование

1. Перейдите на страницу Experiment Monitor
2. Выберите нужный уровень детализации (0-3) из выпадающего списка
3. Нажимайте на вкладки, чтобы просматривать различные типы событий
4. Нажимайте на строки, чтобы развернуть полное содержимое
5. Используйте "Развернуть всё", чтобы увидеть все детали сразу
6. Используйте кнопку "Копировать", чтобы скопировать развёрнутое содержимое в буфер обмена
7. Экспортируйте логи для офлайн-анализа

Рекомендации по уровням детализации

• Разработка/Отладка: Используйте Уровень 3, чтобы видеть полный поток выполнения
• Производственный мониторинг: Используйте Уровень 2 для отслеживания взаимодействий с LLM
• Производительность: Используйте Уровень 1 для минимальных накладных расходов
• Отслеживание ошибок: Используйте Уровень 0, чтобы сосредоточиться только на сбоях

Конфигурация

Фронтенд: Используйте селектор уровня детализации на странице Live Monitor для настройки в реальном времени.

Бэкенд: Задайте уровень детализации по умолчанию через переменную окружения:```bash CEREBRO_VERBOSITY=2 # Default: 2 (LLM Details)

Control Message: Изменить уровень детализации без переподключения:```javascript websocket.send("set_verbosity:1");

• Сброс автоматического выключателя: Если цепь разомкнута, сбросьте его: ```bash curl -X POST http://localhost:9000/health/circuit-breakers/openai/reset
  -H "X-API-Key: test-api-key"
  root@kitploit:~

• Лимиты скорости OpenAI: Проверьте лимиты вашего API тарифа OpenAI на OpenAI Usage Dashboard
• Уменьшите параллелизм: Уменьшите max_concurrent_attacks в конфигурации эксперимента

Автоматический выключатель OPEN

Проблема: Автоматический выключатель находится в состоянии OPEN, блокируя запросы к OpenAI.

Решения:

• Проверьте статус автоматического выключателя и количество сбоев: ```bash curl -X GET http://localhost:9000/health/circuit-breakers
  -H "X-API-Key: test-api-key"
  root@kitploit:~

• Ожидать автоматического тайм-аута (цепь переходит в HALF_OPEN после тайм-аута)
• Вручную сбросить автоматический выключатель: ```bash curl -X POST http://localhost:9000/health/circuit-breakers/openai/reset
  -H "X-API-Key: test-api-key"
  root@kitploit:~

• Verify OPENAI_API_KEY is valid and has sufficient quota
• Check backend logs for specific error messages: ```bash docker compose logs cerebro-backend | grep -i "openai|circuit"
  root@kitploit:~

Выполнение фоновых задач

Проблема: Эксперименты завершаются сбоем сразу, не запуская итерации.

Причина: Проблемы планирования задач с asyncio.create_task().

Решение: Система теперь использует BackgroundTasks из FastAPI для надежного выполнения задач.

Проверка:```bash

Check logs for task execution

docker compose logs cerebro-backend | grep -E "WRAPPER CALLED|run_experiment CALLED"

Should see both messages when experiment starts:

[DIAG-WRAPPER] ===== WRAPPER CALLED for ...

[DIAG-ORCH] ========== run_experiment CALLED ==========