ActGuard

ActGuard هو دفاع تدقيق إجراءات قبل التنفيذ ضد حقن الأوامر غير المباشر في وكلاء LLM المستخدمين للأدوات. يحتوي هذا المستودع على تنفيذ ActGuard النهائي وبيئة التشغيل المبنية على AgentDojo اللازمة لتقييمه.

يحتوي هذا الإصدار على تكوين ActGuard النهائي والكامل فقط. لا تزال المكونات الداخلية تستخدم المعرّف reflective_audit للتوافق مع معيار AgentDojo وتنسيقات التتبع.

المتطلبات

• Python 3.10 أو أحدث
• مفتاح OpenRouter API
• الوصول إلى نقطة التحقق meta-llama/Meta-Llama-3.1-8B-Instruct، أو نقطة تحقق محلية مكافئة
• يُوصى بشدة باستخدام GPU يدعم CUDA لتسجيل الاحتمالات اللوغاريتمية محليًا

التثبيت

يُوصى باستخدام uv:

uv sync --frozen --extra actguard

بدلاً من ذلك، ثبّت في بيئة Python مُفعّلة:

python -m pip install -e '.[actguard]'

البدء السريع

من جذر المستودع:

export OPENROUTER_API_KEY=...
uv run --frozen --extra actguard ./scripts/run_actguard.sh

إذا تم تثبيت المشروع باستخدام pip، شغّل:

export OPENROUTER_API_KEY=...
./scripts/run_actguard.sh

يقيّم السكربت مجموعة workspace باستخدام هجوم important_instructions. يستخدم OpenRouter للوكيل الرئيسي والمدقق، ونماذج محلية متوافقة مع Hugging Face لاسترجاع التضمينات وإسناد الاحتمالات اللوغاريتمية التباينية. قد تكون مصادقة Hugging Face مطلوبة قبل تنزيل نقطة تحقق Llama الافتراضية المقيّدة.

لاستخدام نقاط تحقق مُنزّلة، استبدل قيم --reflective-audit-embedding-model و --reflective-audit-logprob-model في scripts/run_actguard.sh بمساراتها المحلية. استخدم uv run --frozen actguard-benchmark --help لعرض جميع خيارات المعيار.

التكوين الافتراضي

المخرجات

تُكتب النتائج أسفل:

runs/openai_gpt-4o-mini-2024-07-18-reflective_audit/actguard/

يتم تجاهل دليل runs/ بواسطة Git.

الاختبارات

شغّل اختبارات الانحدار الخاصة بـ ActGuard:

uv run --frozen pytest -q tests/test_agent_pipeline/test_reflective_audit.py

هيكل المستودع

• src/agentdojo/agent_pipeline/reflective_audit.py: تنفيذ ActGuard
• src/agentdojo/agent_pipeline/agent_pipeline.py: تكامل خط الأنابيب
• src/agentdojo/scripts/benchmark.py: واجهة سطر أوامر المعيار
• src/agentdojo/default_suites/: مجموعات التقييم وتعريفات المهام
• tests/test_agent_pipeline/test_reflective_audit.py: اختبارات الانحدار
• src/agentdojo/reflective_audit_trace.py: إنشاء التتبع وفحصه

سجلات التشغيل، والبيئات المحلية، وبيانات الاعتماد، ومسودات الأوراق، ومخرجات التحليل المؤقتة، ودفاعات المقارنة مستبعدة عمدًا من هذا الإصدار.

الترخيص

يُوزَّع هذا المشروع بموجب ترخيص MIT. يتضمن بيئة تشغيل معيارية مشتقة من AgentDojo؛ راجع LICENSE للحصول على إشعار حقوق النشر الأصلية المحتفظ به.