टूल-एकीकृत LLM एजेंट्स के लिए प्रतिकूल हमलों के विरुद्ध सार्वभौमिक रक्षा

यह रिपॉज़िटरी प्रतिकूल हमलों के विरुद्ध टूल-एकीकृत बड़े भाषा मॉडल (LLM) एजेंट्स की रक्षा पर हमारे प्रोजेक्ट के कोड और प्रयोगों को समाहित करती है।

अवलोकन

हम Agent Security Bench (ASB) पर आधारित हैं ताकि यह मूल्यांकन किया जा सके कि टूल्स और संरचित तर्क (जैसे, chain-of-thought, reflection) को एकीकृत करना कई कार्य परिदृश्यों में प्रतिकूल प्रॉम्प्ट्स के प्रति LLM एजेंट्स की भेद्यता को कैसे प्रभावित करता है।

इस रिपॉज़िटरी में शामिल हैं:

• नई रक्षा रणनीतियाँ (जैसे, टूल-आधारित फ़िल्टरिंग, CoT+Reflection)
• ASB से अनुकूलित हमला परिदृश्य
• प्रायोगिक स्क्रिप्ट्स

Agent Security Bench (ASB) पर आधारित

यह प्रोजेक्ट आधिकारिक ASB रिपॉज़िटरी के कोड को अनुकूलित और विस्तारित करता है:

Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents
GitHub: https://github.com/agiresearch/ASBench
Paper: https://openreview.net/forum?id=V4y0CpX4hK

हम ASB लेखकों को उनके फ्रेमवर्क को सार्वजनिक रूप से उपलब्ध कराने के लिए धन्यवाद देते हैं।