دفاعات عالمية لوكلاء النماذج اللغوية الكبيرة المدمجين بالأدوات ضد الهجمات العدائية

يحتوي هذا المستودع على الكود والتجارب الخاصة بمشروعنا حول الدفاع عن وكلاء النماذج اللغوية الكبيرة (LLM) المدمجين بالأدوات ضد الهجمات العدائية.

Framework overview

نظرة عامة

نبني على Agent Security Bench (ASB) لتقييم كيفية تأثير دمج الأدوات والاستدلال المنظم (مثل سلسلة التفكير، والتفكير التأملي) على قابلية وكلاء النماذج اللغوية الكبيرة للتعرض للمطالبات العدائية عبر سيناريوهات مهام متعددة.

يتضمن هذا المستودع:

استراتيجيات دفاع جديدة (مثل التصفية القائمة على الأدوات، وCoT+Reflection)
سيناريوهات هجوم مقتبسة من ASB
نصوص تجريبية

مبني على Agent Security Bench (ASB)

هذا المشروع يعدّل ويوسّع الكود من مستودع ASB الرسمي:

Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents
GitHub: https://github.com/agiresearch/ASBench
Paper: https://openreview.net/forum?id=V4y0CpX4hK

نشكر مؤلفي ASB على إتاحة إطار عملهم للعموم.

تثبيت التبعيات

pip install -r requirements.txt

الاستخدام

لتقييم DPI:

python attack_launcher.py --cfg_path ./config/DPI.yml

لتقييم IPI:

python attack_launcher.py --cfg_path ./config/IPI.yml

لتقييم MP:

python attack_launcher.py --cfg_path ./config/MP.yml

لتقييم هجوم الباب الخلفي:

python agent_attack_pot.py

Defenses-for-Tool-Integrated-LLM

الأكثر شعبية