🛡️AutoControl Arena

फ्रंटियर AI जोखिम मूल्यांकन के लिए निष्पादन योग्य परीक्षण वातावरण का संश्लेषण

👋 अवलोकन

AutoControl Arena फ्रंटियर AI सुरक्षा मूल्यांकन के लिए एक स्वचालित ढांचा है, जिसे निष्पादन योग्य, दबाव-समृद्ध वातावरण में तनाव-परीक्षण के माध्यम से उन्नत मॉडलों में छिपे जोखिमों को उजागर करने के लिए डिज़ाइन किया गया है।

मूल विचार तर्क-कथा वियोजन है:

• तर्क परत: नियतात्मक अवस्था संक्रमण, उपकरण, और वातावरण यांत्रिकी वास्तविक निष्पादन योग्य Python कोड में आधारित हैं।
• कथा परत: मुक्त-अंत सामाजिक/प्रासंगिक गतिशीलता LLM द्वारा उत्पन्न की जाती है, लेकिन हमेशा आधारित तार्किक अवस्था पर सशर्त।

यह डिज़ाइन एजेंट सुरक्षा मूल्यांकन में एक केंद्रीय व्यापार-बंद को संबोधित करता है, निष्पादन योग्य वातावरणों को LLM-संचालित कथा लचीलेपन के साथ जोड़कर:

• मैनुअल बेंचमार्क यथार्थवादी हैं लेकिन महंगे और धीमे हैं।
• इन-कॉन्टेक्स्ट सिमुलेटर स्केलेबल हैं लेकिन तर्क भ्रम के प्रति संवेदनशील हैं।

AutoControl Arena Anthropic, OpenAI, और Apollo Research जैसे संगठनों से विशेषज्ञ-डिज़ाइन किए गए जोखिम-मूल्यांकन परिदृश्यों और लक्षित जोखिमपूर्ण व्यवहारों को स्वचालित रूप से पुनर्निर्माण और पुनरुत्पादित कर सकता है।

पेपर, आर्किटेक्चर, और मुख्य निष्कर्षों के बारे में जानने के लिए उत्सुक हैं? पूर्ण जानकारी के लिए कृपया हमारा 📖 प्रोजेक्ट पेज देखें, या हमारा पेपर पढ़ें।

⚡ त्वरित शुरुआत

1. इंटरैक्टिव UI (aca)

aca

इंटरैक्टिव UI आपको परिदृश्य ब्राउज़ करने, प्रोफ़ाइल चुनने, तनाव स्तर चुनने, समानांतर पुनरावृत्ति सक्षम करने, और मेनू से पिछले रन इतिहास का निरीक्षण करने देता है।

2. इंटरैक्टिव UI से बैच JSON चलाएं

aca केवल मैनुअल चयन तक सीमित नहीं है। इसमें एक Run from JSON प्रवाह भी शामिल है जो आपको निम्नलिखित करने देता है:

1. configs/batch_configs/examples/ को इंटरैक्टिव रूप से ब्राउज़ करें,
2. एक मौजूदा बैच JSON फ़ाइल चुनें,
3. सीरियल बनाम समानांतर निष्पादन चुनें,

इसका उपयोग तब करें जब आप इंटरैक्टिव UI की सुविधा चाहते हैं लेकिन आपके पास पहले से एक बैच JSON तैयार है।

3. कमांड-मोड CLI (autocontrol)

autocontrol --help

autocontrol का उपयोग तब करें जब आप run, batch, profiles, या prepare-envs जैसे स्पष्ट सबकमांड चाहते हैं। aca के विपरीत, यह डिफ़ॉल्ट रूप से इंटरैक्टिव मेनू नहीं खोलता।

🌐 फ्रंटएंड उपयोग

स्थानीय परिणाम व्यूअर

परिणाम व्यूअर एक अलग स्थानीय वेब UI है जो results/ से पूर्ण रन, आर्टिफैक्ट, सारांश, और लाइव निष्पादन विवरण ब्राउज़ करने के लिए है।

इसे इस प्रकार शुरू करें:

python tools/results_viewer/serve.py --port 8000

फिर खोलें:

http://127.0.0.1:8000/viewer/

वैकल्पिक फ़्लैग:

# किसी भिन्न होस्ट पर बाइंड करें
python tools/results_viewer/serve.py --host 0.0.0.0 --port 8000

# व्यूअर को एक विशिष्ट results रूट पर इंगित करें
python tools/results_viewer/serve.py \
  --results-dir results/autocontrol_arena \
  --port 8000

परिणाम व्यूअर का उपयोग तब करें जब आप रन प्रक्षेपवक्र और आर्टिफैक्ट के लिए ब्राउज़र-आधारित निरीक्षण सतह चाहते हैं।

🗂️ रिपॉज़िटरी लेआउट

.
├── configs/
│   ├── batch_configs/examples/     # सार्वजनिक उदाहरण बैच JSON कॉन्फ़िग
│   ├── profiles/templates/         # सार्वजनिक मॉडल/प्रदाता प्रोफ़ाइल टेम्पलेट
│   ├── scenarios/benchmark/        # X-Bench YAML परिदृश्य परिभाषाएं
│   └── settings/                   # रनटाइम हाइपरपैरामीटर
├── docs/                           # सार्वजनिक दस्तावेज़ और आंतरिक योजना / डिज़ाइन नोट्स
├── runners/                        # CLI एंट्रीपॉइंट और इंटरैक्टिव UI
├── src/                            # एजेंट, ऑर्केस्ट्रेशन, इन्फ्रा, और मुख्य तर्क
├── tests/                          # यूनिट और रिग्रेशन परीक्षण
├── tools/                          # परिणाम प्रबंधन उपयोगिताएं
├── results/                        # results/autocontrol_arena/ के अंतर्गत उत्पन्न आउटपुट
├── runtime_envs/                   # उत्पन्न वातावरण (स्वतः-उत्पन्न)
├── .env.example
└── pyproject.toml

⚙️ सेटअप

पूर्वापेक्षाएं: Python 3.10+, उन मॉडल प्रदाताओं के लिए API क्रेडेंशियल जिन्हें आप परीक्षण करना चाहते हैं।

चरण 1 — निर्भरताएं इंस्टॉल करें

# एक वर्चुअल वातावरण बनाएं और सक्रिय करें
python -m venv .venv
source .venv/bin/activate

# सभी निर्भरताएं इंस्टॉल करें (LiteLLM सहित, डिफ़ॉल्ट मॉडल बैकएंड)
pip install -e .

# वैकल्पिक: डेव टूल्स (pytest, ruff, mypy)
pip install -e ".[dev]"

यह इंस्टॉलेशन दो शेल कमांड प्रदान करता है:

• aca — इंटरैक्टिव ऑपरेटर एंट्रीपॉइंट
• autocontrol — स्क्रिप्टिंग और ऑटोमेशन के लिए कमांड-मोड CLI

चरण 2 — API क्रेडेंशियल सेट करें

cp .env.example .env

.env को संपादित करें और केवल उन प्रदाताओं को भरें जिनकी आपको आवश्यकता है। यहां कुछ उदाहरण हैं:

# OpenAI
OPENAI_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

# Anthropic
ANTHROPIC_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx