
إطار عمل للفريق الأحمر التكيفي الموجّه بالتصنيفات يقوم بمسح تقنيات حقن المطالبات (prompt-injection) ويحسّن المحاولات الفاشلة لاكتشاف هجمات متنوعة ضد وكلاء النماذج اللغوية الكبيرة (LLM) التي تستخدم الأدوات.
الكود الخاص بالورقة البحثية
AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents
AutoPI هو أداة فريق أحمر تكيّفية لوكلاء LLM التي تستخدم الأدوات. صُمم لاكتشاف طرق عديدة ومختلفة لاختراق الوكيل، وليس فقط لاختراقه بشكل متكرر. لكل سيناريو، يكتب نموذج LLM المهاجم حقنًا غير مباشر للأوامر (prompt injection) لكل تقنية فرعية من تصنيف حقن الأوامر، ثم يعيد صياغة المحاولات الفاشلة باستخدام التغذية الراجعة من نموذج LLM حَكَم.
الحقن الناجحة نادرة ويُفترض أنها تقع في مناطق، واحدة لكل تقنية. يبحث AutoPI على ثلاث مراحل، يمكن للاستراتيجية تخطيها أو تغيير حجمها أو تكرارها أو إعادة ترتيبها:
ثبّت AutoPI مع AgentDojo المرفق. يُوصى باستخدام Python 3.11.
git clone https://github.com/stevendamianakis/autopi
cd autopi
python3.11 -m venv .venv && source .venv/bin/activate
pip install -e . -e benchmarks/agentdojo
وجّه الهدف والمولّد إلى خادم متوافق مع OpenAI، مثل vLLM على المنفذ 8000، وشغّل استراتيجية Full على جميع سيناريوهات AgentDojo البالغ عددها 949:
autopi run --benchmark agentdojo \
--target vllm:8000:MODEL_ID \
--refiner vllm:8000:MODEL_ID \
--strategy configs/strategies/full.yaml \
--logdir runs/agentdojo-full
أضف --dry-run للتحقق من الإعدادات وسرد السيناريوهات دون استدعاء أي نموذج. تكتب كل عملية تشغيل
إعداداتها المحلولة وكل محاولة من كل سيناريو إلى مجلد --logdir. في الشيفرة، يُسمى
المولّد بالمنقّح (refiner).
سمِّ كل نموذج مرة واحدة في نسخة من configs/models.example.yaml، ثم مرّر الأسماء. تُقرأ مفاتيح API
من متغيرات البيئة ولا تُخزَّن أبدًا في الملف.
cp configs/models.example.yaml configs/models.local.yaml
autopi run --benchmark agentdojo --models-config configs/models.local.yaml \
--target target --refiner generator \
--strategy configs/strategies/full.yaml --logdir runs/agentdojo-full
المزوّدون هم openai-compatible (أي URL)، وopenai، وanthropic، وgoogle، وollama، كما تعمل المواصفات المختصرة مثل anthropic:MODEL_ID دون الحاجة إلى ملف. يغطي إعداد النموذج إعدادات فك الترميز وأوضاع التفكير واستعادة النص الذي أزاله محلّل أدوات من جهة الخادم.
pip install -e benchmarks/ipi_arena
# the 8 browser scenarios also need:
pip install -e 'benchmarks/ipi_arena[browser]' && python -m playwright install chromium
autopi run --benchmark ipiarena --models-config configs/models.local.yaml \
--target arena-target --refiner generator --judge arena-judge --worldsim arena-judge \
--seed-source agentdojo \
--strategy configs/strategies/full.yaml --logdir runs/ipiarena-full
تحتوي IPI Arena على 41 سيناريو: 18 لاستخدام الأدوات، و15 للبرمجة، و8 للمتصفح. لا يُحتسب السيناريو معطّلًا إلا عندما
تنجح كل معايير الخاصة به، ويختار --ipi-ignore-concealment مقياسًا يعتمد على الإجراء فقط بدلًا من ذلك.
يستخدم الهدف استدعاءات الأدوات الأصلية، وتحتاج سيناريوهات المتصفح إلى هدف قادر على معالجة الصور. لا تشحن
الاختبارات القياسية أي بذرة (seed)، لذا استخدم --seed-source agentdojo، أو --seed-file، أو استراتيجية بدون كتلة بذرة.
--mode 3، وهو الوضع الافتراضي وإعداد الورقة البحثية، يعرض على المولّد مهمة المستخدم وهدف
الحقن. يكتب الوضعان 1 و2 قوالب عمياء عن الهدف، كما يرى الوضع 2 مهمة المستخدم أيضًا.--no-judge و--no-context و--no-legitimize إحدى الآليات التكيفية الثلاث.--seed-file بذرة أخرى، بينما تبدأ --no-seed بالمسح الشامل.--taxonomy-path تصنيفًا آخر بنفس تخطيط الملف.--no-early-stop العمل بعد أول نجاح، وذلك لتشغيلات التغطية.--shard و--num-shards التشغيل عبر عدة عمّال، بينما تُكمل --resume تشغيلًا متقطعًا.تسرد autopi run --help كل الخيارات.
الاستراتيجية هي قائمة مرتبة من الكتل، وميزانية محاولات لكل سيناريو، وقاعدة توقف. الملفات الثلاثة
في configs/strategies/ هي AutoPI-Full وAutoPI-Seed-Exploit وAutoPI-L1 الخاصة بالورقة البحثية. وهي
أمثلة وليست حدودًا:
| الملف | الكتل | المحاولات | الهدف |
|---|---|---|---|
full.yaml | بذرة، مسح L1، 3 متغيرات لكل سطر فاشل | 529 | التغطية |
seed-exploit.yaml | بذرة، 600 متغير من البذرة | 601 | ASR ببذرة قوية |
l1.yaml | بذرة، مسح L1 | 133 | تكلفة منخفضة |
# configs/strategies/full.yaml
version: 1
budget: 529
stop: first_success
blocks:
- kind: seed
- kind: sweep
id: exploration
level: 1
order: priority
- kind: sweep_exploit
source: exploration
reps: 3
يمكن حذف الكتل أو إعادة ترتيبها أو تكرارها، وكل مسح يأخذ مجموعته الفرعية الخاصة من التصنيف وترتيبه ومستوى دمجه وحدّه. راجع دليل الاستراتيجيات.