
आपके LLM एजेंटिक वर्कफ़्लो के लिए एक सुरक्षा स्कैनर
आपके एजेंटिक वर्कफ़्लो के लिए एक सुरक्षा स्कैनर!
Agentic Radar को एजेंटिक सिस्टम का विश्लेषण और मूल्यांकन करने के लिए डिज़ाइन किया गया है, ताकि सुरक्षा और परिचालन संबंधी जानकारी प्राप्त हो सके। यह डेवलपर्स, शोधकर्ताओं और सुरक्षा पेशेवरों को यह समझने में मदद करता है कि एजेंटिक सिस्टम कैसे कार्य करते हैं और संभावित कमज़ोरियों की पहचान करने में सहायता करता है।
यह उपयोगकर्ताओं को एजेंटिक सिस्टम के लिए सुरक्षा रिपोर्ट बनाने की सुविधा देता है, जिसमें शामिल हैं:
व्यापक HTML रिपोर्ट सभी निष्कर्षों का सारांश प्रस्तुत करती है, जिससे समीक्षा और साझाकरण आसान हो जाता है।
पूर्ण रिपोर्ट का उदाहरण यहाँ देखें
Agentic Radar में पहचानी गई कमज़ोरियों का प्रसिद्ध सुरक्षा ढाँचों से मैपिंग शामिल है 🛡️।
यदि आप केवल विज़ुअलाइज़ेशन चाहते हैं, तो Agentic Visualizer आज़माएँ।
यह एक वेब-आधारित टूल है जो आपको एजेंटिक वर्कफ़्लो को उपयोगकर्ता-अनुकूल तरीके से विज़ुअलाइज़ करने की सुविधा देता है।
कोई भी नहीं हैं! बस सुनिश्चित करें कि आपके सिस्टम पर Python (pip) स्थापित है।
pip install agentic-radar
# Check that it is installed
agentic-radar --version
कुछ सुविधाओं के लिए अतिरिक्त स्थापना की आवश्यकता होती है, जो लक्षित एजेंटिक फ्रेमवर्क पर निर्भर करती है। अधिक जानकारी नीचे देखें।
CrewAI के साथ निम्नलिखित में से किसी एक सुविधा का उपयोग करते समय CrewAI extras की आवश्यकता होती है:
आप निम्न कमांड चलाकर अतिरिक्त CrewAI निर्भरताओं के साथ Agentic Radar स्थापित कर सकते हैं:
pip install "agentic-radar[crewai]"
[!WARNING] यह
crewai-toolsपैकेज स्थापित करेगा, जो केवल Python संस्करण >= 3.10 और < 3.13 पर समर्थित है। यदि आप भिन्न Python संस्करण का उपयोग कर रहे हैं, तो टूल विवरण कम विस्तृत होंगे या पूरी तरह से अनुपलब्ध होंगे।
OpenAI Agents के साथ निम्नलिखित में से किसी एक सुविधा का उपयोग करते समय OpenAI Agents extras की आवश्यकता होती है:
आप निम्न कमांड चलाकर अतिरिक्त OpenAI Agents निर्भरताओं के साथ Agentic Radar स्थापित कर सकते हैं:
pip install "agentic-radar[openai-agents]"
Agentic Radar अब दो मुख्य कमांड का समर्थन करता है:
scanएजेंटिक वर्कफ़्लो के लिए कोड स्कैन करें और रिपोर्ट तैयार करें।
agentic-radar scan [OPTIONS] FRAMEWORK:{langgraph|crewai|n8n|openai-agents|autogen}
उदाहरण:
agentic-radar scan langgraph -i path/to/langgraph/example/folder -o report.html
testविभिन्न कमज़ोरियों के लिए एजेंटिक वर्कफ़्लो में एजेंटों का परीक्षण करें। इसके लिए OPENAI_API_KEY को पर्यावरण चर के रूप में सेट करना आवश्यक है।
agentic-radar test [OPTIONS] FRAMEWORK:{openai-agents} ENTRYPOINT_SCRIPT_WITH_ARGS
उदाहरण:
agentic-radar test openai-agents "path/to/openai-agents/example.py"
इस सुविधा के बारे में अधिक जानकारी यहाँ देखें।
एजेंटिक प्रॉम्प्ट हार्डनिंग आपके एजेंटिक वर्कफ़्लो में पहचाने गए सिस्टम प्रॉम्प्ट को स्वचालित रूप से बेहतर बनाता है और उन्हें रिपोर्ट में प्रदर्शित करता है। यह सरल एजेंट निर्देशों को उच्च-गुणवत्ता वाले संरचित सिस्टम प्रॉम्प्ट में बदल देता है, जो सर्वोत्तम प्रॉम्प्ट इंजीनियरिंग प्रथाओं का पालन करते हैं।
[!NOTE]
वर्तमान में समर्थित फ्रेमवर्क (और भी आने वाले हैं): OpenAI Agents, CrewAI, Autogen
इसका उपयोग करना काफी सरल है:
export OPENAI_API_KEY=<api_key> चलाकर अपना OPENAI_API_KEY पर्यावरण चर सेट करें।
उदाहरण के लिए, --harden-prompts फ्लैग के साथ Agentic Radar चलाएँ:
agentic-radar scan openai-agents --harden-prompts -i examples/openai-agents/
basic/lifecycle_example -o report.html
Agentic Radar अब आपके एजेंट वर्कफ़्लो का रनटाइम पर परीक्षण करने का समर्थन करता है, ताकि सिम्युलेटेड विरोधी इनपुट के माध्यम से गंभीर कमज़ोरियों की पहचान की जा सके।
इसमें निम्न के लिए स्वचालित परीक्षण शामिल है:
वर्तमान में समर्थित:
परीक्षण कमांड आपके एजेंटिक वर्कफ़्लो को एक टेस्ट सुइट के साथ लॉन्च करता है, जिसे दुर्भावनापूर्ण या विरोधी इनपुट का अनुकरण करने के लिए डिज़ाइन किया गया है। ये परीक्षण OWASP LLM Top 10 के अनुरूप वास्तविक दुनिया के हमले के परिदृश्यों पर आधारित हैं।
[!NOTE]
इस सुविधा के लिए OPENAI_API_KEY या AZURE_OPENAI_API_KEY को पर्यावरण चर के रूप में सेट करना आवश्यक है। आप इसे कमांड लाइन के माध्यम से या .env फ़ाइल के अंदर सेट कर सकते हैं।
परीक्षण इस प्रकार चलाया जाता है:
agentic-radar test <framework> "<path/to/the/workflow/main.py any-necessary-args>"
उदाहरण के लिए:
agentic-radar test openai-agents "examples/openai-agents/basic/lifecycle_example.py"
टूल उपयोगकर्ता द्वारा प्रदान किए गए एजेंटिक वर्कफ़्लो में स्वयं को इंजेक्ट करता है, आवश्यक जानकारी का पता लगाता है और तैयार किए गए परीक्षण चलाता है।
आप निम्नलिखित संरचना वाली YAML फ़ाइल बनाकर Agentic Radar को कस्टम परीक्षण प्रदान कर सकते हैं:
include_default_tests: false
tests:
- name: TestA
input: Mention A.
success_condition: Attack succeeded if A is mentioned.
- name: TestB
input: Mention B.
success_condition: Attack succeeded if B is mentioned.
name परीक्षण का नाम है, input एजेंट को दिया जाने वाला इनपुट टेक्स्ट है, और success_condition इस बात का विवरण है कि एक सफल हमला क्या माना जाता है (इसका उपयोग एक oracle LLM द्वारा यह निर्धारित करने के लिए किया जाएगा कि परीक्षण पास हुआ या विफल हुआ)।
फिर आप अपनी YAML फ़ाइल की ओर इशारा करते हुए --config विकल्प के साथ Agentic Radar परीक्षण चला सकते हैं:
agentic-radar test openai-agents --config custom_tests.yaml "examples/openai-agents/basic/lifecycle_example.py"
डिफ़ॉल्ट रूप से, Agentic Radar अंतर्निहित परीक्षण भी शामिल करेगा। आप अपनी YAML फ़ाइल में include_default_tests को false पर सेट करके उन्हें अक्षम कर सकते हैं।
सभी परीक्षण परिणाम टर्मिनल में सीधे एक दृश्य रूप से समृद्ध तालिका प्रारूप में मुद्रित होते हैं। प्रत्येक पंक्ति दर्शाती है:
इससे कमज़ोरियों को एक नज़र में पहचानना आसान हो जाता है—विशेषकर मल्टी-एजेंट सिस्टम में।
Agentic Radar को अपनी CI/CD पाइपलाइन में एकीकृत करने के लिए, आप प्रदान किए गए GitHub Actions वर्कफ़्लो उदाहरण का उपयोग कर सकते हैं। बस YAML को अपने रिपॉजिटरी की .github/workflows निर्देशिका में पेस्ट करें।
यह वर्कफ़्लो जब भी रिपॉजिटरी में बदलाव पुश किए जाते हैं, आपके कोडबेस पर स्वचालित रूप से Agentic Radar स्कैन चलाता है। जनरेट की गई रिपोर्ट GitHub Actions रन में एक आर्टिफैक्ट के रूप में अपलोड की जाती है।
यह मैट्रिक्स दर्शाता है कि कौन से एजेंटिक फ्रेमवर्क सभी Agentic Radar सुविधाओं का समर्थन करते हैं। समय के साथ हम सभी मौजूदा फ्रेमवर्क को सभी मौजूदा सुविधाओं के साथ कवर करने के साथ-साथ नए फ्रेमवर्क को भी शामिल करने का प्रयास करेंगे।
क्या कुछ ऐसी सुविधाएँ हैं जिन्हें आप पहले देखना चाहेंगे? यहाँ गुमनाम रूप से वोट करें या GitHub Issue खोलें।
हम AI और सुरक्षा समुदाय से योगदान का स्वागत करते हैं! अन्य डेवलपर्स से जुड़ने, सुविधाओं पर चर्चा करने, सहायता प्राप्त करने और Agentic Radar में योगदान करने के लिए हमारे Discord समुदाय या Slack समुदाय से जुड़ें 🚀
यदि आपको जो दिखता है वह पसंद आता है, तो हमें एक स्टार दें! यह हमें सुधार और नवाचार करने के लिए प्रेरित रखता है और दूसरों को परियोजना खोजने में मदद करता है 🌟
प्रश्न: क्या मेरा स्रोत कोड साझा किया जाता है या सब कुछ स्थानीय रूप से चलता है?
उत्तर: मुख्य सुविधाएँ (स्थैतिक वर्कफ़्लो विश्लेषण और कमज़ोरी मैपिंग) पूरी तरह से स्थानीय रूप से चलती हैं, इसलिए आपका कोड कहीं भी साझा नहीं किया जाता है। वैकल्पिक उन्नत सुविधाओं के लिए, LLM का उपयोग किया जा सकता है। उदाहरण के लिए, प्रॉम्प्ट हार्डनिंग का उपयोग करते समय, पहचाने गए सिस्टम प्रॉम्प्ट विश्लेषण के लिए LLM को भेजे जा सकते हैं।
| सुविधा | स्कैन | MCP डिटेक्शन | प्रॉम्प्ट हार्डनिंग | एजेंटिक परीक्षण |
|---|
| OpenAI Agents | ✅ | ✅ | ✅ | ✅ |
| CrewAI | ✅ | ✅ | ✅ | ❌ |
| n8n | ✅ | ✅ | ❌ | ❌ |
| LangGraph | ✅ | ✅ | ❌ | ❌ |
| Autogen | ✅ | ✅ | ✅ | ❌ |