CEREBRO-RED v2 (शोध संस्करण)

स्वायत्त स्थानीय LLM रेड टीमिंग सूट

एजेंटिक फ़ज़िंग और अनुकूली प्रतिकूल उत्परिवर्तन (AAM) का उपयोग करके स्थानीय LLM में स्वचालित कमजोरी खोज के लिए एक शोध-ग्रेड फ्रेमवर्क।

शोध लक्ष्य

• PAIR एल्गोरिथम (प्रॉम्प्ट स्वचालित पुनरावृत्तीय शोधन) arxiv.org/abs/2310.08419 से लागू करना
• विचार श्रृंखला तर्क के साथ LLM-एक-जज अर्थपूर्ण मूल्यांकन
• श्वेतपत्र-ग्रेड विश्लेषण के लिए टेलीमेट्री-प्रथम आर्किटेक्चर
• बहु-प्रदाता LLM समर्थन (Ollama, Azure OpenAI, OpenAI)

आर्किटेक्चर

तकनीकी स्टैक

• बैकएंड: FastAPI (async/await), Pydantic (सख्त प्रकार), Uvicorn
• LLM गेटवे: litellm (Ollama/Azure/OpenAI के लिए सार्वभौमिक एडॉप्टर)
• डेटाबेस: SQLite (प्रयोग) + JSONL (ऑडिट लॉग)
• फ्रंटएंड: React + Vite + TailwindCSS + ShadcnUI + Recharts
• कंटेनर: Docker + Docker Compose

मुख्य घटकों और डेटा प्रवाह दर्शाता सिस्टम आर्किटेक्चर

कोर मॉड्यूल

1. ऑर्केस्ट्रेटर (backend/core/engine.py): एक्सपोनेंशियल बैकऑफ के साथ एसिंक्रोनस बैच प्रोसेसिंग
2. म्यूटेटर (backend/core/mutator.py): उत्परिवर्तन रणनीतियों के साथ PAIR एल्गोरिथम
3. जज (backend/core/judge.py): CoT मूल्यांकन के साथ LLM-एक-जज
4. टेलीमेट्री (backend/core/telemetry.py): थ्रेड-सुरक्षित JSONL ऑडिट लॉगर

फ्रंटएंड डैशबोर्ड

React-आधारित फ्रंटएंड प्रयोगों के प्रबंधन, प्रगति की निगरानी और परिणामों के विश्लेषण के लिए एक व्यापक इंटरफेस प्रदान करता है।

प्रयोग अवलोकन और आँकड़े दर्शाने वाला मुख्य डैशबोर्ड इंटरफ़ेस

रीयल-टाइम स्थिति अपडेट और प्रयोग सूची के साथ प्रयोग प्रबंधन दृश्य

सभी उपलब्ध सुविधाओं को दर्शाने वाला पूर्ण उपयोगकर्ता इंटरफ़ेस अवलोकन

प्रयोग परिणाम और विश्लेषण

प्रयोग परिणाम, कमजोरी निष्कर्ष और विस्तृत विश्लेषण प्रदर्शित करने वाला परिणाम दृश्य

प्रयोग पैरामीटर अनुकूलित करने के लिए सेटिंग और कॉन्फ़िगरेशन पैनल

रीयल-टाइम निगरानी

लाइव प्रयोग प्रगति और स्थिति संकेतकों के साथ रीयल-टाइम निगरानी डैशबोर्ड

विस्तृत ऑडिट लॉग, सिस्टम घटनाएं और प्रदर्शन मीट्रिक दर्शाने वाला टेलीमेट्री दृश्य

फ़िल्टरिंग और खोज क्षमताओं के साथ विस्तृत लॉग दृश्य

प्रदर्शन मीट्रिक्स और सांख्यिकी डैशबोर्ड

स्वास्थ्य जांच और घटक स्थिति दर्शाने वाला सिस्टम स्थिति अवलोकन

API दस्तावेज़ीकरण

एंडपॉइंट एक्सप्लोरर के साथ इंटरएक्टिव API दस्तावेज़ीकरण इंटरफ़ेस

विस्तृत आर्किटेक्चर दस्तावेज़ीकरण के लिए, docs/ARCHITECTURE.md देखें।

त्वरित प्रारंभ

पूर्वापेक्षाएँ

• Docker 24.0+
• Docker Compose 2.20+
• होस्ट पर Ollama चल रहा हो (या Azure/OpenAI API कुंजियाँ)

Docker सेटअप

यदि Docker नहीं चल रहा है, तो Docker डेमॉन प्रारंभ करें:```bash

Start Docker daemon

sudo systemctl start docker

Enable Docker to start on boot

sudo systemctl enable docker

Add your user to the docker group (to run Docker without sudo)

sudo usermod -aG docker $USER

Apply group changes (logout/login or use newgrp)

newgrp docker

OR logout and login again for changes to take effect

**सत्यापित करें कि Docker चल रहा है**:```bash
docker --version
docker compose version

स्थापना

1. रिपॉजिटरी क्लोन करें: ```bash git clone https://github.com/Leviticus-Triage/cerebro-red-v2.git cd cerebro-red-v2

2. पर्यावरण कॉन्फ़िगर करें: ```bash cp .env.example .env

   Edit .env with your LLM provider credentials

3. महत्वपूर्ण: Port 8000 की जाँच करें ```bash

   Falls Port 8000 belegt ist:

   lsof -i :8000 # Finde Prozess

   Oder ändere Port in .env: CEREBRO_PORT=8001

4. बैकएंड शुरू करें (महत्वपूर्ण - चलना चाहिए!): ```bash

   Option 1: Automatisch (empfohlen)

   ./START_BACKEND.sh

   Option 2: Docker

   docker compose up -d cerebro-backend

   Option 3: Lokal

   cd backend uvicorn main:app --reload --port 9000

5. बैकएंड स्थिति की जाँच करें: ```bash curl http://localhost:9000/health

   Sollte {"status": "healthy", ...} zurückgeben

6. त्वरित परीक्षण चलाएँ: ```bash ./QUICK_TEST_EXAMPLES.sh

7. डैशबोर्ड तक पहुंचें:

   • Backend API: http://localhost:9000
   • Frontend UI: http://localhost:3000 (वैकल्पिक: docker compose up -d cerebro-frontend)
   • API Docs: http://localhost:9000/docs

   

   फ्रंटएंड उपयोगकर्ता इंटरफ़ेस प्रयोग प्रबंधन और निगरानी दिखा रहा है

---

त्वरित आरंभ: स्थानीय बनाम क्लाउड तैनाती

स्थानीय तैनाती (Ollama)

इसके लिए सर्वोत्तम: गोपनीयता-केंद्रित परीक्षण, कोई API लागत नहीं, ऑफ़लाइन संचालन।```bash

1. Install and start Ollama

curl -fsSL https://ollama.ai/install.sh | sh ollama pull llama3.2:3b ollama serve

2. Configure .env for local

cat > .env << 'EOF' TARGET_MODEL=ollama/llama3.2:3b ATTACKER_MODEL=ollama/llama3.2:3b JUDGE_MODEL=ollama/llama3.2:3b OLLAMA_BASE_URL=http://host.docker.internal:11434

Relaxed circuit breaker for local (slower responses)

CIRCUIT_BREAKER_FAILURE_THRESHOLD=15 CIRCUIT_BREAKER_TIMEOUT=120 CIRCUIT_BREAKER_JITTER_ENABLED=true EOF

3. Start services

docker compose up -d

4. Verify

curl http://localhost:9000/health | jq

### क्लाउड परिनियोजन (OpenAI)

इसके लिए सर्वोत्तम: तेज़ प्रतिक्रियाएँ, उच्च गुणवत्ता वाले म्यूटेशन, उत्पादन परीक्षण।```bash
# 1. Configure .env for cloud
cat > .env << 'EOF'
TARGET_MODEL=openai/gpt-4o-mini
ATTACKER_MODEL=openai/gpt-4o-mini
JUDGE_MODEL=openai/gpt-4o-mini
OPENAI_API_KEY=sk-your-key-here

# Standard circuit breaker for cloud
CIRCUIT_BREAKER_FAILURE_THRESHOLD=10
CIRCUIT_BREAKER_TIMEOUT=60
CIRCUIT_BREAKER_JITTER_ENABLED=true
EOF

# 2. Start services
docker compose up -d

# 3. Verify
curl http://localhost:9000/health | jq

Hybrid Deployment (Multi-Provider)

Best for: Cost optimization (cheap target, quality attacker/judge).```bash

Configure .env for hybrid

cat > .env << 'EOF'

Target on local Ollama (cheap, many requests)

TARGET_MODEL=ollama/llama3.2:3b OLLAMA_BASE_URL=http://host.docker.internal:11434

Attacker and Judge on OpenAI (quality matters)

ATTACKER_MODEL=openai/gpt-4o-mini JUDGE_MODEL=openai/gpt-4o-mini OPENAI_API_KEY=sk-your-key-here