
टैक्सोनॉमी-निर्देशित अनुकूली रेड टीमिंग फ्रेमवर्क जो प्रॉम्प्ट-इंजेक्शन तकनीकों को स्कैन करता है और टूल-उपयोग करने वाले LLM एजेंट्स के विरुद्ध विविध आक्रमणों को खोजने के लिए असफल प्रयासों को परिष्कृत करता है।
पेपर के लिए कोड
AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents
AutoPI टूल-उपयोग करने वाले LLM एजेंट्स के लिए एक अनुकूली रेड टीमर है। इसे किसी एजेंट को बार-बार तोड़ने के लिए नहीं, बल्कि उसे तोड़ने के कई अलग-अलग तरीके खोजने के लिए बनाया गया है। प्रत्येक परिदृश्य के लिए, एक आक्रामक LLM प्रॉम्प्ट-इंजेक्शन टैक्सोनॉमी की हर उप-तकनीक के लिए एक अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन लिखता है, फिर LLM जज से मिली प्रतिक्रिया का उपयोग करके उन इंजेक्शनों को फिर से तैयार करता है जो विफल रहे।
काम करने वाले इंजेक्शन दुर्लभ हैं और अनुमान है कि वे क्षेत्रों में स्थित होते हैं, प्रत्येक तकनीक के लिए एक। AutoPI तीन चरणों में खोज करता है, जिन्हें कोई रणनीति छोड़, आकार बदल, दोहरा या पुनःक्रमित कर सकती है:
AutoPI को बंडल किए गए AgentDojo के साथ इंस्टॉल करें। Python 3.11 की सिफ़ारिश की जाती है।
git clone https://github.com/stevendamianakis/autopi
cd autopi
python3.11 -m venv .venv && source .venv/bin/activate
pip install -e . -e benchmarks/agentdojo
लक्ष्य और जनरेटर को OpenAI-संगत सर्वर की ओर इंगित करें, जैसे कि पोर्ट 8000 पर vLLM, और सभी 949 AgentDojo परिदृश्यों पर Full रणनीति चलाएँ:
autopi run --benchmark agentdojo \
--target vllm:8000:MODEL_ID \
--refiner vllm:8000:MODEL_ID \
--strategy configs/strategies/full.yaml \
--logdir runs/agentdojo-full
जाँचने के लिए --dry-run जोड़ें कि सेटिंग्स सही हैं और मॉडल को कॉल किए बिना परिदृश्यों की सूची बनाएँ। प्रत्येक रन अपनी
हल की गई सेटिंग्स और प्रत्येक परिदृश्य के हर प्रयास को --logdir फ़ोल्डर में लिखता है। कोड में,
जनरेटर को रिफ़ाइनर कहा जाता है।
configs/models.example.yaml की एक प्रति में प्रत्येक मॉडल का नाम एक बार दें, फिर नाम पास करें। API कुंजियाँ
पर्यावरण चर से पढ़ी जाती हैं और कभी भी फ़ाइल में संग्रहीत नहीं की जातीं।
cp configs/models.example.yaml configs/models.local.yaml
autopi run --benchmark agentdojo --models-config configs/models.local.yaml \
--target target --refiner generator \
--strategy configs/strategies/full.yaml --logdir runs/agentdojo-full
Providers openai-compatible (कोई भी URL), openai, anthropic, google और ollama हैं, और छोटे
स्पेक्स जैसे anthropic:MODEL_ID बिना किसी फ़ाइल के काम करते हैं। Model configuration में
डिकोडिंग सेटिंग्स, थिंकिंग मोड्स और सर्वर-साइड टूल पार्सर द्वारा हटाए गए टेक्स्ट की रिकवरी शामिल है।
pip install -e benchmarks/ipi_arena
# the 8 browser scenarios also need:
pip install -e 'benchmarks/ipi_arena[browser]' && python -m playwright install chromium
autopi run --benchmark ipiarena --models-config configs/models.local.yaml \
--target arena-target --refiner generator --judge arena-judge --worldsim arena-judge \
--seed-source agentdojo \
--strategy configs/strategies/full.yaml --logdir runs/ipiarena-full
IPI Arena में 41 परिदृश्य हैं: 18 टूल उपयोग, 15 कोडिंग और 8 ब्राउज़र। किसी परिदृश्य को तभी टूटा हुआ माना जाता है जब
उसके सभी मानदंड पास हो जाएँ, और --ipi-ignore-concealment इसके बजाय केवल-क्रिया वाला मीट्रिक चुनता है।
लक्ष्य नेटिव टूल कॉल का उपयोग करता है, और ब्राउज़र परिदृश्यों के लिए इमेज-सक्षम लक्ष्य आवश्यक है। बेंचमार्क
कोई seed नहीं देता, इसलिए --seed-source agentdojo, कोई --seed-file, या seed ब्लॉक के बिना कोई रणनीति उपयोग करें।
--mode 3, जो डिफ़ॉल्ट है और पेपर की सेटिंग है, जनरेटर को उपयोगकर्ता कार्य और इंजेक्शन
लक्ष्य दिखाता है। मोड 1 और 2 लक्ष्य-अंध टेम्पलेट लिखते हैं, और मोड 2 उपयोगकर्ता कार्य भी देखता है।--no-judge, --no-context और --no-legitimize तीन अनुकूली तंत्रों में से एक को बंद कर देते हैं।--seed-file किसी अन्य seed का उपयोग करता है, और --no-seed स्वीप के साथ शुरू करता है।--taxonomy-path उसी फ़ाइल लेआउट के साथ किसी अन्य टैक्सोनॉमी का स्वीप करता है।--no-early-stop पहली सफलता के बाद भी जारी रखता है, कवरेज रन के लिए।--shard और --num-shards एक रन को वर्कर्स में विभाजित करते हैं, और --resume किसी बाधित रन को जारी रखता है।autopi run --help हर विकल्प की सूची दिखाता है।
एक रणनीति ब्लॉकों की एक क्रमबद्ध सूची, प्रति परिदृश्य प्रयास बजट और एक स्टॉप नियम है। configs/strategies/ में
तीन फ़ाइलें पेपर की AutoPI-Full, AutoPI-Seed-Exploit और AutoPI-L1 हैं। ये
उदाहरण हैं, सीमाएँ नहीं: