🛡️AutoControl Arena

توليف بيئات اختبار قابلة للتنفيذ لتقييم مخاطر الذكاء الاصطناعي المتقدم

👋 نظرة عامة

AutoControl Arena هو إطار عمل آلي لتقييم سلامة الذكاء الاصطناعي المتقدم، مصمم للكشف عن المخاطر الكامنة في النماذج المتقدمة من خلال اختبار الإجهاد ضمن بيئات قابلة للتنفيذ وغنية بالضغوط.

الفكرة الأساسية هي الفصل بين المنطق والسرد:

• طبقة المنطق: انتقالات الحالة الحتمية والأدوات وآليات البيئة مبنية على كود Python حقيقي قابل للتنفيذ.
• طبقة السرد: الديناميكيات الاجتماعية/السياقية المفتوحة يولّدها نماذج اللغة الكبيرة (LLMs)، لكنها دائمًا مشروطة بالحالة المنطقية المُرسّخة.

يعالج هذا التصميم مقايضة محورية في تقييم سلامة الوكلاء من خلال الجمع بين بيئات قابلة للتنفيذ ومرونة سردية مدفوعة بنماذج اللغة الكبيرة:

• المعايير اليدوية واقعية لكنها مكلفة وبطيئة في التوسع.
• المحاكيات السياقية قابلة للتوسع لكنها عرضة لهلوسة المنطق.

يستطيع AutoControl Arena إعادة بناء وإنتاج سيناريوهات تقييم المخاطر المصممة من قبل الخبراء والسلوكيات الخطرة المستهدفة من مؤسسات مثل Anthropic وOpenAI وApollo Research تلقائيًا.

هل أنت فضولي بشأن الورقة البحثية والبنية والنتائج الرئيسية؟ يرجى الاطلاع على 📖 صفحة المشروع للحصول على جولة كاملة، أو اقرأ الورقة البحثية.

⚡ البدء السريع

1. الواجهة التفاعلية (aca)

aca

تتيح لك الواجهة التفاعلية تصفح السيناريوهات، واختيار الملفات التعريفية، واختيار مستويات الإجهاد، وتمكين التكرار المتوازي، وفحص سجل التشغيل السابق من قائمة.

2. تشغيل ملف JSON دفعي من الواجهة التفاعلية

لا تقتصر aca على الاختيار اليدوي. فهي تتضمن أيضًا تدفق التشغيل من JSON الذي يتيح لك:

1. تصفح configs/batch_configs/examples/ تفاعليًا،
2. اختيار ملف JSON دفعي موجود،
3. اختيار التنفيذ التسلسلي مقابل المتوازي،

استخدم هذا عندما تريد راحة الواجهة التفاعلية ولكن لديك بالفعل ملف JSON دفعي جاهز.

3. واجهة سطر الأوامر بوضع الأوامر (autocontrol)

autocontrol --help

استخدم autocontrol عندما تريد أوامر فرعية صريحة مثل run أو batch أو profiles أو prepare-envs. على عكس aca، فإنها لا تفتح القائمة التفاعلية افتراضيًا.

🌐 استخدام الواجهة الأمامية

عارض النتائج المحلي

عارض النتائج هو واجهة ويب محلية منفصلة لتصفح التشغيلات المكتملة والمخرجات والملخصات وتفاصيل التنفيذ المباشر من results/.

ابدأه باستخدام:

python tools/results_viewer/serve.py --port 8000

ثم افتح:

http://127.0.0.1:8000/viewer/

أعلام اختيارية:

# Bind to a different host
python tools/results_viewer/serve.py --host 0.0.0.0 --port 8000

# Point the viewer at a specific results root
python tools/results_viewer/serve.py \
  --results-dir results/autocontrol_arena \
  --port 8000

استخدم عارض النتائج عندما تريد واجهة فحص قائمة على المتصفح لمسارات التشغيل والمخرجات.

🗂️ تخطيط المستودع

.
├── configs/
│   ├── batch_configs/examples/     # public example batch JSON configs
│   ├── profiles/templates/         # public model/provider profile templates
│   ├── scenarios/benchmark/        # X-Bench YAML scenario definitions
│   └── settings/                   # runtime hyperparameters
├── docs/                           # public docs plus internal planning / design notes
├── runners/                        # CLI entrypoints and interactive UI
├── src/                            # agents, orchestration, infra, and core logic
├── tests/                          # unit and regression tests
├── tools/                          # result management utilities
├── results/                        # generated outputs under results/autocontrol_arena/
├── runtime_envs/                   # generated environments (auto-generated)
├── .env.example
└── pyproject.toml

⚙️ الإعداد

المتطلبات الأساسية: Python 3.10+، وبيانات اعتماد API لمزودي النماذج الذين تريد اختبارهم.

الخطوة 1 — تثبيت التبعيات

# Create and activate a virtual environment
python -m venv .venv
source .venv/bin/activate

# Install all dependencies (includes LiteLLM, the default model backend)
pip install -e .

# Optional: dev tools (pytest, ruff, mypy)
pip install -e ".[dev]"

يوفّر هذا التثبيت أمرين في الصدفة:

• aca — نقطة دخول تفاعلية للمشغّل
• autocontrol — واجهة سطر أوامر بوضع الأوامر للبرمجة النصية والأتمتة

الخطوة 2 — تعيين بيانات اعتماد API

cp .env.example .env

حرّر .env واملأ فقط المزودين الذين تحتاجهم. إليك بعض الأمثلة:

# OpenAI
OPENAI_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

# Anthropic
ANTHROPIC_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

# Qwen / DashScope
DASHSCOPE_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxx

الخطوة 3 — تكوين ملفات تعريف النماذج

توجد قوالب الملفات التعريفية العامة تحت configs/profiles/templates/ ويتم تحميلها باسم الملف التعريفي. يشحن المستودع حاليًا ملفات تعريف قالبية لـ gpt-4o وclaude-3-7-sonnet.