CEREBRO-RED v2 (研究版)

自律型ローカルLLMレッドチーミングスイート

Agentic FuzzingとAdaptive Adversarial Mutation (AAM)を用いた、ローカルLLMの自動脆弱性発見のための研究グレードのフレームワーク。

研究目標

• arxiv.org/abs/2310.08419のPAIRアルゴリズム（Prompt Automatic Iterative Refinement）を実装
• Chain-of-Thought推論を用いたLLM-as-a-Judgeセマンティック評価
• ホワイトペーパー級の分析のためのテレメトリファーストアーキテクチャ
• マルチプロバイダーLLM対応（Ollama、Azure OpenAI、OpenAI）

アーキテクチャ

テクノロジースタック

• バックエンド: FastAPI（async/await）、Pydantic（厳格な型）、Uvicorn
• LLMゲートウェイ: litellm（Ollama/Azure/OpenAI用ユニバーサルアダプター）
• データベース: SQLite（実験）+ JSONL（監査ログ）
• フロントエンド: React + Vite + TailwindCSS + ShadcnUI + Recharts
• コンテナ: Docker + Docker Compose

メインコンポーネントとデータフローを示すシステムアーキテクチャ

コアモジュール

1. オーケストレーター（backend/core/engine.py）：指数バックオフ付き非同期バッチ処理
2. ミューテーター（backend/core/mutator.py）：変異戦略を備えたPAIRアルゴリズム
3. ジャッジ（backend/core/judge.py）：CoT評価付きLLM-as-a-Judge
4. テレメトリ（backend/core/telemetry.py）：スレッドセーフなJSONL監査ロガー

フロントエンドダッシュボード

Reactベースのフロントエンドは、実験の管理、進捗の監視、結果の分析のための包括的なインターフェースを提供します。

実験の概要と統計を表示するメインダッシュボードインターフェース

リアルタイムステータス更新と実験リストを表示する実験管理ビュー

すべての利用可能な機能を示す完全なユーザーインターフェース概要

実験結果と分析

実験結果、脆弱性の発見、詳細な分析を表示する結果ビュー

実験パラメータをカスタマイズするための設定と構成パネル

リアルタイム監視

リアルタイムの実験進捗とステータスインジケーターを表示する監視ダッシュボード

詳細な監査ログ、システムイベント、パフォーマンスメトリクスを表示するテレメトリビュー

フィルタリングおよび検索機能を備えた詳細ログビュー

パフォーマンスメトリクスと統計のダッシュボード

ヘルスチェックとコンポーネントステータスを示すシステムステータス概要

APIドキュメント

エンドポイントエクスプローラー付きインタラクティブAPIドキュメントインターフェース

詳細なアーキテクチャドキュメントについては、docs/ARCHITECTURE.mdを参照してください。

クイックスタート

前提条件

• Docker 24.0+
• Docker Compose 2.20+
• ホスト上で実行中のOllama（またはAzure/OpenAI APIキー）

Dockerセットアップ

Dockerが実行されていない場合は、Dockerデーモンを起動します。```bash

Start Docker daemon

sudo systemctl start docker

Enable Docker to start on boot

sudo systemctl enable docker

Add your user to the docker group (to run Docker without sudo)

sudo usermod -aG docker $USER

Apply group changes (logout/login or use newgrp)

newgrp docker

OR logout and login again for changes to take effect

**Dockerが実行中であることを確認する**:```bash
docker --version
docker compose version

インストール

1. リポジトリをクローン: ```bash git clone https://github.com/Leviticus-Triage/cerebro-red-v2.git cd cerebro-red-v2

2. 環境を設定する: ```bash cp .env.example .env

   Edit .env with your LLM provider credentials

3. 重要：ポート8000を確認してください ```bash

   Falls Port 8000 belegt ist:

   lsof -i :8000 # Finde Prozess

   Oder ändere Port in .env: CEREBRO_PORT=8001

4. バックエンドを起動 (重要 - 実行する必要があります！): ```bash

   Option 1: Automatisch (empfohlen)

   ./START_BACKEND.sh

   Option 2: Docker

   docker compose up -d cerebro-backend

   Option 3: Lokal

   cd backend uvicorn main:app --reload --port 9000

5. バックエンドステータスを確認: ```bash curl http://localhost:9000/health

   Sollte {"status": "healthy", ...} zurückgeben

6. クイックテストを実行： ```bash ./QUICK_TEST_EXAMPLES.sh

7. ダッシュボードにアクセス:

   • バックエンドAPI: http://localhost:9000
   • フロントエンドUI: http://localhost:3000 (任意: docker compose up -d cerebro-frontend)
   • APIドキュメント: http://localhost:9000/docs

   

   実験管理とモニタリングを表示するフロントエンドユーザーインターフェース

---

クイックスタート: ローカル vs クラウドデプロイメント

ローカルデプロイメント (Ollama)

最適な用途: プライバシー重視のテスト、APIコストなし、オフライン運用。```bash

1. Install and start Ollama

curl -fsSL https://ollama.ai/install.sh | sh ollama pull llama3.2:3b ollama serve

2. Configure .env for local

cat > .env << 'EOF' TARGET_MODEL=ollama/llama3.2:3b ATTACKER_MODEL=ollama/llama3.2:3b JUDGE_MODEL=ollama/llama3.2:3b OLLAMA_BASE_URL=http://host.docker.internal:11434

Relaxed circuit breaker for local (slower responses)

CIRCUIT_BREAKER_FAILURE_THRESHOLD=15 CIRCUIT_BREAKER_TIMEOUT=120 CIRCUIT_BREAKER_JITTER_ENABLED=true EOF

3. Start services

docker compose up -d

4. Verify

curl http://localhost:9000/health | jq

### Cloud Deployment (OpenAI)

最適な用途: より高速な応答、高品質なミューテーション、本番テスト。```bash
# 1. Configure .env for cloud
cat > .env << 'EOF'
TARGET_MODEL=openai/gpt-4o-mini
ATTACKER_MODEL=openai/gpt-4o-mini
JUDGE_MODEL=openai/gpt-4o-mini
OPENAI_API_KEY=sk-your-key-here

# Standard circuit breaker for cloud
CIRCUIT_BREAKER_FAILURE_THRESHOLD=10
CIRCUIT_BREAKER_TIMEOUT=60
CIRCUIT_BREAKER_JITTER_ENABLED=true
EOF

# 2. Start services
docker compose up -d

# 3. Verify
curl http://localhost:9000/health | jq

ハイブリッドデプロイメント（マルチプロバイダー）

最適な用途: コスト最適化（安価なターゲット、高品質な攻撃者/評価者）。```bash

Configure .env for hybrid

cat > .env << 'EOF'

Target on local Ollama (cheap, many requests)

TARGET_MODEL=ollama/llama3.2:3b OLLAMA_BASE_URL=http://host.docker.internal:11434

Attacker and Judge on OpenAI (quality matters)

ATTACKER_MODEL=openai/gpt-4o-mini JUDGE_MODEL=openai/gpt-4o-mini OPENAI_API_KEY=sk-your-key-here

Balanced circuit breaker

CIRCUIT_BREAKER_FAILURE_THRESHOLD=12 CIRCUIT_BREAKER_TIMEOUT=90 EOF

---

##  Verbosity Levels

Live Logs と Code Flow 追跡における詳細の量を制御します。

| レベル | 名前 | 説明 | ユースケース |
|-------|------|-------------|----------|
| 0 | 最小 | エラーと脆弱性のみ | 本番監視 |
| 1 | 標準 | + 進行状況の更新 | 通常運用 |
| 2 | デバッグ | + LLM リクエスト/レスポンス | 問題のデバッグ |
| 3 | デバッグ + Code Flow | + タスクキュー、決定ポイント | 完全な可観測性 |

### 詳細度の設定

**UI 経由**: Experiment Monitor の「Verbosity」ドロップダウンを使用します。

**API 経由**:```bash
# WebSocket connection with verbosity
ws://localhost:9000/ws/scan/{experiment_id}?verbosity=3

環境変数経由:```bash CEREBRO_VERBOSITY=3

### コードフローイベント (verbosity >= 3)

verbosity が 3 に設定されている場合、次のものが表示されます：
- **タスク開始/終了**：各タスクの開始と完了時
- **戦略選択**：どの戦略が選択され、その理由
- **決定ポイント**：しきい値チェック、フォールバック判断
- **パフォーマンス指標**：ステップごとのレイテンシ、トークン数、スコア

---

##  サーキットブレーカーの設定

サーキットブレーカーは、LLMプロバイダーが過負荷状態になったときのカスケード障害を防止します。