सीखने के संसाधन

पठन सामग्री और मार्गदर्शिकाएँ

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - NIST ट्रस्टवर्थी और जिम्मेदार AI संसाधन केंद्र
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - GenAI खतरों को संबंधित रक्षात्मक नियंत्रणों से मैप करने वाली संदर्भ मार्गदर्शिका।
• NCSC Guidelines for Secure AI System Development - NCSC (UK) और CISA द्वारा सह-लेखित सुरक्षित AI विकास के लिए व्यावहारिक दिशानिर्देश, जिनमें डिज़ाइन, विकास, परिनियोजन और संचालन शामिल हैं।

पाठ्यक्रम, लैब्स और CTFs

• Damn Vulnerable MCP Server - शैक्षिक उद्देश्यों के लिए Model Context Protocol (MCP) का जानबूझकर कमजोर कार्यान्वयन।
• otto-support - mcp-go का उपयोग करते हुए एक कमजोर MCP सर्वर कार्यान्वयन, जिसमें स्तरीय प्रमाणीकरण (4 भूमिकाएँ), 19 टूल्स, और विशेषाधिकार वृद्धि और टूल के दुरुपयोग का अभ्यास करने के लिए Claude Code के साथ बिल्ट-इन सैंडबॉक्स्ड कंटेनर शामिल है।
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - MCP सर्वरों की पेंटेस्टिंग सीखने के लिए जानबूझकर कमजोर बनाए गए सर्वरों का संग्रह।
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBot एक एजेंटिक सुरक्षा Capture The Flag (CTF) इंटरैक्टिव प्लेटफ़ॉर्म है जो एक सिम्युलेटेड फाइनेंशियल सर्विसेज़-केंद्रित एप्लिकेशन का उपयोग करके एजेंटिक AI प्रणालियों में वास्तविक दुनिया की कमजोरियों का अनुकरण करता है।
• AI-Red-Teaming-Playground-Labs - इन्फ्रास्ट्रक्चर सहित AI रेड टीमिंग प्रशिक्षण चलाने के लिए AI रेड टीमिंग प्लेग्राउंड लैब्स।
• Damn Vulnerable LLM Agent - प्रॉम्प्ट इंजेक्शन, टूल के दुरुपयोग और एजेंट सुरक्षा के बारे में सीखने के लिए जानबूझकर कमजोर बनाया गया LLM एजेंट
• • LLMVault - OWASP LLM Top 10 सीखने के लिए एक ओपन-सोर्स CTF-शैली की LLM सुरक्षा लैब, जिसमें प्रॉम्प्ट इंजेक्शन, RAG हमले, सिस्टम प्रॉम्प्ट लीकेज, टूल के दुरुपयोग और एजेंट सुरक्षा को कवर करने वाले व्यावहारिक कमजोर अभ्यास शामिल हैं।

पॉडकास्ट

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - Black Hills Information Security के साप्ताहिक पॉडकास्ट जो यह खोजते हैं कि AI साइबर सुरक्षा को कैसे बदलता है—व्यावहारिक, कार्रवाई योग्य ज्ञान के साथ उभरते खतरों, टूल्स और रुझानों को कवर करते हुए।
• GenAI Security podcast

शासन और जोखिम प्रबंधन

फ्रेमवर्क

• NIST AI Risk Management Framework
• ISO/IEC 42001 Artificial Intelligence Management System
• ISO/IEC 23894:2023 Information technology — Artificial intelligence — Guidance on risk management
• Google Secure AI Framework (SAIF)
• ENISA Multilayer Framework for Good Cybersecurity Practices for AI
• OWASP Artificial Intelligence Maturity Assessment
• CSA AI Model Risk Framework
• CSA Maestro AI Threat Modeling Framework
• CSA AI Controls Matrix - शासन, जोखिम और अनुपालन को कवर करने वाला AI प्रणालियों के लिए व्यापक नियंत्रण मैट्रिक्स।
• OWASP Agentic AI Top 10 - OWASP और CSA रेड टीमिंग के मूल के रूप में कार्य करने वाला एजेंटिक AI के लिए Top 10।

मानक और सत्यापन

• OWASP AI Security Verification Standard
• OWASP Agent Name Service
• OWASP Agent Observability Standard
• AI Verify - शासन फ्रेमवर्क के विरुद्ध AI प्रणाली गुणों को सत्यापित करने के लिए सिंगापुर सरकार द्वारा समर्थित AI परीक्षण फ्रेमवर्क और टूलकिट।

वर्गीकरण, शब्दावली और जोखिम डेटाबेस

• NIST AI 100-2e2023 - एडवर्सेरियल मशीन लर्निंग वर्गीकरण और शब्दावली
• MITRE ATLAS
  • ATLAS Knowledge Base Agent - प्राकृतिक भाषा, MCP सर्वर एक्सेस और अनुकूलन योग्य एजेंट वर्कफ़्लो के साथ ATLAS ज्ञानकोष का अन्वेषण करने के लिए ओपन-सोर्स AI सहायक।
• AVIDML
• MIT AI Risk Repository
• AI Incident Database
• ISO/IEC 22989:2022 Information technology — Artificial intelligence — Artificial intelligence concepts and terminology
• NIST AI Glossary
• The Arcanum Prompt Injection Taxonomy - हमले के इरादों, तकनीकों, चोरी-छिपे बचाव और इनपुट वेक्टर को कवर करने वाली व्यापक प्रॉम्प्ट इंजेक्शन हमला वर्गीकरण प्रणाली। प्रॉम्प्ट इंजेक्शन हमलों के लक्ष्यों, विधियों, अस्पष्टीकरण तकनीकों और हमले की सतहों को वर्गीकृत करती है।
• CSA LLM Threats Taxonomy
• OWASP AI Vulnerability Scoring System (AIVSS) - AI-विशिष्ट कमजोरियों के लिए स्कोरिंग प्रणाली, जो CVSS अवधारणाओं को AI जोखिम आयामों तक विस्तारित करती है।

चेकलिस्ट और व्यावहारिक मार्गदर्शन

• OWASP LLM Applications Cybersecurity and Governance Checklist
• OWASP AI Security and Privacy Guide
• OWASP LLM and Generative AI Security Center of Excellence Guide
• OWASP Agentic AI – Threats and Mitigations
• OWASP AI Security Solutions Landscape
• OWASP GenAI Incident Response Guide
• OWASP LLM and GenAI Data Security Best Practices
• OWASP Securing Agentic AI Applications
• OWASP GenAI Red Teaming Guide

हमले की तकनीकें और रेड टीमिंग

एडवर्सेरियल ML और क्लासिकल मॉडल

• Adversarial Robustness Toolkit - ART Evasion (इनपुट संशोधनों के साथ मॉडल व्यवहार बदलना), Poisoning (प्रशिक्षण डेटा संशोधनों के साथ मॉडल को नियंत्रित करना), Extraction (क्वेरी के माध्यम से मॉडल चोरी करना) और Inference (प्रशिक्षण डेटा की गोपनीयता पर हमला) के खतरों पर केंद्रित है
• cleverhans - हमलों को निर्मित करने, रक्षा विकसित करने और दोनों का बेंचमार्किंग करने के लिए एक एडवर्सेरियल उदाहरण लाइब्रेरी
• foolbox - PyTorch, TensorFlow और JAX में न्यूरल नेटवर्क को धोखा देने वाले एडवर्सेरियल उदाहरण बनाने के लिए एक Python टूलबॉक्स
• TextAttack - NLP में एडवर्सेरियल हमलों, डेटा ऑग्मेंटेशन और मॉडल प्रशिक्षण के लिए एक Python फ्रेमवर्क
• Counterfit - मशीन लर्निंग प्रणालियों की सुरक्षा का आकलन करने के लिए सामान्य ऑटोमेशन परत
• OffsecML Playbook - प्रूफ ऑफ कॉन्सेप्ट के साथ आक्रामक और एडवर्सेरियल TTPs का संग्रह
• BadDiffusion - CVPR 2023 में प्रकाशित पेपर "How to Backdoor Diffusion Models?" को रिप्रोड्यूस करने के लिए आधिकारिक रिपॉजिटरी
• secml-torch - SecML-Torch: डीप लर्निंग मॉडल के रोबस्टनेस मूल्यांकन के लिए एक लाइब्रेरी

LLM और GenAI रेड टीमिंग

• garak - LLMs के लिए सुरक्षा जांच (प्रोबिंग) टूल
• ai-scanner - NVIDIA garak पर निर्मित AI मॉडल सुरक्षा मूल्यांकन के लिए ओपन-सोर्स वेब एप्लिकेशन। इसमें 179 प्रोब्स, मल्टी-टार्गेट स्कैनिंग, शेड्यूल्ड स्कैन, ASR स्कोरिंग और SIEM एकीकरण शामिल हैं।
• promptfoo - अपने प्रॉम्प्ट्स, एजेंट्स और RAGs का परीक्षण करें। LLMs के लिए रेड टीमिंग, पेंटेस्टिंग और भेद्यता स्कैनिंग। GPT, Claude, Gemini, Llama और अधिक के प्रदर्शन की तुलना करें। कमांड लाइन और CI/CD एकीकरण के साथ सरल घोषणात्मक कॉन्फ़िगरेशन।
• PyRIT - generative AI के लिए Python Risk Identification Tool (PyRIT) एक ओपन सोर्स फ्रेमवर्क है जो सुरक्षा पेशेवरों और इंजीनियरों को generative AI प्रणालियों में जोखिमों की सक्रिय रूप से पहचान करने में सशक्त बनाने के लिए बनाया गया है।
• PurpleLlama - LLM सुरक्षा का आकलन और सुधार करने के लिए टूल्स का सेट।
• augustus - प्रॉम्प्ट इंजेक्शन, जेलब्रेक और एडवर्सेरियल हमलों का पता लगाने के लिए LLM सुरक्षा परीक्षण फ्रेमवर्क। 190+ प्रोब्स, 28 प्रोवाइडर, एकल Go बाइनरी। समवर्ती स्कैनिंग, रेट लिमिटिंग और रीट्राई लॉजिक के साथ प्रोडक्शन-रेडी।
• FuzzyAI - स्वचालित LLM फज़िंग के लिए एक शक्तिशाली टूल। इसे डेवलपर्स और सुरक्षा शोधकर्ताओं को उनके LLM APIs में संभावित जेलब्रेक की पहचान करने और उन्हें कम करने में मदद करने के लिए डिज़ाइन किया गया है।
• EasyJailbreak - एडवर्सेरियल जेलब्रेक प्रॉम्प्ट उत्पन्न करने के लिए एक उपयोग में आसान Python फ्रेमवर्क।
• gptfuzz - GPTFUZZER के लिए आधिकारिक रिपॉजिटरी: ऑटो-जनरेटेड जेलब्रेक प्रॉम्प्ट्स के साथ Large Language Models की रेड टीमिंग
• llamator - बड़े भाषा मॉडल (LLM) की कमजोरियों के परीक्षण के लिए फ्रेमवर्क।
• agentic_security - एजेंटिक LLM भेद्यता स्कैनर / AI रेड टीमिंग किट
• Agentic Radar - एजेंटिक वर्कफ़्लो के लिए ओपन-सोर्स CLI सुरक्षा स्कैनर।
• RAPTOR - Claude Code पर निर्मित स्वायत्त आक्रामक/रक्षात्मक सुरक्षा अनुसंधान फ्रेमवर्क। स्टैटिक विश्लेषण (Semgrep, CodeQL), बाइनरी विश्लेषण, LLM-संचालित भेद्यता सत्यापन, एक्सप्लॉइट जनरेशन और पैच लेखन को श्रृंखलाबद्ध करता है। Z3-आधारित व्यवहार्यता विश्लेषण के साथ मल्टी-मॉडल ऑर्केस्ट्रेशन।
• whistleblower - API के माध्यम से उजागर AI एप्लिकेशन की सिस्टम प्रॉम्प्ट लीकेज और क्षमता खोज के विरुद्ध परीक्षण के लिए आक्रामक सुरक्षा टूल
• promptmap - कस्टम LLM एप्लिकेशनों के लिए एक प्रॉम्प्ट इंजेक्शन स्कैनर
• spikee - मूल्यांकन और एक्सप्लॉइटेशन के लिए सरल प्रॉम्प्ट इंजेक्शन किट
• ps-fuzz - अपने GenAI ऐप्स को सुरक्षित बनाएं — अपने सिस्टम प्रॉम्प्ट का परीक्षण करें और उसे मजबूत करें
• EasyEdit - किसी LLM की ग्राउंड ट्रुथ्स को संशोधित करें
• llm-attacks - एलाइन्ड भाषा मॉडल पर यूनिवर्सल और ट्रांसफरेबल हमले
• llm-security - ऐप-एकीकृत LLMs को तोड़ने के नए तरीके
• Plexiglass - बड़े भाषा मॉडल (LLMs) में कमजोरियों का पता लगाने और उनसे सुरक्षा के लिए एक टूलकिट।
• Prompt Hacking Resources - AI रेड टीमिंग, जेलब्रेकिंग और प्रॉम्प्ट इंजेक्शन में रुचि रखने वालों के लिए क्यूरेटेड संसाधनों की सूची
• Giskard - AI और LLM प्रणालियों के लिए ओपन-सोर्स मूल्यांकन और परीक्षण
• blackice - BlackIce एक ओपन-सोर्स कंटेनरीकृत टूलकिट है जिसे Large Language Models (LLMs) और क्लासिकल मशीन लर्निंग (ML) मॉडल सहित AI मॉडल की रेड टीमिंग के लिए डिज़ाइन किया गया है। पारंपरिक पेनेट्रेशन टेस्टिंग में Kali Linux की सुविधा और मानकीकरण से प्रेरित होकर, BlackIce विशेष मूल्यांकन टूल्स के साथ प्रीकॉन्फ़िगर्ड प्रतिलिपि योग्य कंटेनर इमेज प्रदान करके AI सुरक्षा मूल्यांकन को सरल बनाता है।
• ai-best-practices - LLMs का उपयोग करने वाले कोड को सर्वोत्तम प्रथाओं का पालन सुनिश्चित करने के लिए Semgrep Pro Rules। 58 नियम, 102 उप-नियम जो 6 प्रोवाइडर + MCP + Claude Code और Cursor हुक्स + LangChain को कवर करते हैं। 7 भाषाओं में हार्डकोडेड API कुंजियों, प्रॉम्प्ट इंजेक्शन जोखिमों, लापता सुरक्षा जाँचों और अनहैंडल्ड त्रुटियों का पता लगाता है।
• G0DM0D3 - OpenRouter के माध्यम से 50+ मॉडलों के साथ रेड टीमिंग के लिए ओपन-सोर्स मल्टी-मॉडल चैट इंटरफ़ेस। इसमें GODMODE CLASSIC (5 जेलब्रेक कॉम्बो), ULTRAPLINIAN मल्टी-मॉडल मूल्यांकन, 33 रेड टीम तकनीकों वाला Parseltongue इनपुट पर्टर्बेशन इंजन, और AI सुरक्षा अनुसंधान के लिए AutoTune अनुकूली सैंपलिंग शामिल है।
• L1B3RT4S - प्रमुख LLMs के लिए जेलब्रेक और लिबरेशन प्रॉम्प्ट्स का संग्रह। ChatGPT, Claude, Gemini और अन्य फ्रंटियर मॉडलों में AI सुरक्षा गार्डरेल का परीक्षण और मूल्यांकन करने के लिए डिज़ाइन किए गए एडवर्सेरियल प्रॉम्प्ट्स की क्यूरेटेड लाइब्रेरी।
• OBLITERATUS - बिना रीट्रेनिंग के ओपन-सोर्स LLMs से इनकार व्यवहार हटाने वाला Abliteration टूलकिट। सुरक्षा-एलाइन्ड इनकार प्रतिक्रियाओं को समाप्त करने के लिए मॉडल वेट्स को संशोधित करता है, जिससे अप्रतिबंधित मॉडल व्यवहार अनुसंधान संभव होता है।
• T3MP3ST - स्वायत्त रेड टीमिंग प्लेटफ़ॉर्म और मल्टी-एजेंट आक्रामक-सुरक्षा मेटा-हार्नेस। फ्रंटियर AI प्रणालियों के समन्वित एडवर्सेरियल परीक्षण के लिए AI एजेंटों के झुंड का समन्वय करता है।
• P4RS3LT0NGV3 - यूनिवर्सल टेक्स्ट ट्रांसफ़ॉर्मेशन और प्रॉम्प्टक्राफ्टिंग टूलकिट। जेलब्रेक पेलोड निर्माण के लिए अनुवाद, म्यूटेशन, एन्कोडिंग/डिकोडिंग और एडवर्सेरियल प्रॉम्प्ट इंजीनियरिंग का समर्थन करता है।
• claude-secure-coding-rules - ओपन-सोर्स सुरक्षा नियम जो Claude Code को डिफ़ॉल्ट रूप से सुरक्षित कोड उत्पन्न करने के लिए मार्गदर्शित करते हैं।
• DeepTeam - प्रॉम्प्ट इंजेक्शन, जेलब्रेकिंग और RAG पॉइज़निंग सहित 40+ हमले विधियों वाला LLM रेड टीमिंग फ्रेमवर्क। CI/CD पाइपलाइनों के साथ एकीकृत होता है।

एजेंटिक AI और MCP अटैक टूल्स

• RAMPART - एजेंटिक AI एप्लिकेशनों के लिए pytest-नेटिव safety और security परीक्षण फ्रेमवर्क।
• AI-Infra-Guard - Tencent Zhuque Lab द्वारा विकसित एक व्यापक, बुद्धिमान और उपयोग में आसान AI रेड टीमिंग प्लेटफ़ॉर्म। Infra Scan, MCP Scan और Jailbreak Evaluation के लिए मॉड्यूल एकीकृत करता है, जो व्यापक AI सुरक्षा मूल्यांकन के लिए वन-क्लिक वेब UI, REST APIs और Docker-आधारित परिनियोजन प्रदान करता है।
• OpenPromptInjection - प्रॉम्प्ट इंजेक्शन हमलों और रक्षा के लिए एक बेंचमार्क
• AIMap - उजागर AI एजेंट इन्फ्रास्ट्रक्चर के लिए इंटरनेट-स्केल डिस्कवरी और सुरक्षा परीक्षण प्लेटफ़ॉर्म। MCP सर्वरों, Ollama इंस्टेंस, vLLM/LiteLLM प्रॉक्सी और अधिक के लिए Shodan को क्वेरी करता है — फिर फ़िंगरप्रिंट करता है, जोखिम स्कोर करता है, और रीयल-टाइम स्ट्रीमिंग परिणामों के साथ प्रोटोकॉल-विशिष्ट अटैक सुइट्स लॉन्च करता है।### AI-सहायित आक्रामक सुरक्षा
• PentestGPT - GPT-संचालित पैठ परीक्षण उपकरण
• HackingBuddyGPT - नैतिक हैकर्स को 50 या उससे कम लाइनों के कोड में LLM का उपयोग करने में सहायता करना
• cai - साइबर सुरक्षा AI (CAI), एक खुला बग बाउंटी-तैयार आर्टिफिशियल इंटेलिजेंस (पेपर)
• shannon - Keygraph द्वारा वेब ऐप्स और API के लिए पूर्णतः स्वायत्त AI पेंटेस्टर। व्हाइट-बॉक्स सुरक्षा परीक्षण जो सोर्स कोड का विश्लेषण करता है, हमले के वैक्टर की पहचान करता है, और वास्तविक एक्सप्लॉइट निष्पादित करता है। XBOW बेंचमार्क पर 96.15% सफलता दर (100/104 एक्सप्लॉइट)।
• strix - Strix स्वायत्त AI एजेंट हैं जो बिल्कुल वास्तविक हैकर्स की तरह कार्य करते हैं - वे आपके कोड को गतिशील रूप से चलाते हैं, कमजोरियाँ खोजते हैं, और वास्तविक प्रूफ-ऑफ-कॉन्सेप्ट के माध्यम से उन्हें मान्य करते हैं
• redamon - AI-संचालित एजेंटिक रेड टीम फ्रेमवर्क जो टोही से लेकर एक्सप्लॉइटेशन और पोस्ट-एक्सप्लॉइटेशन तक आक्रामक सुरक्षा संचालन को शून्य मानव हस्तक्षेप के साथ स्वचालित करता है।
• CyberStrikeAI - Go में निर्मित AI-नेटिव सुरक्षा परीक्षण प्लेटफ़ॉर्म। बुद्धिमान ऑर्केस्ट्रेशन इंजन के साथ 100+ सुरक्षा उपकरणों को एकीकृत करता है, पूर्वनिर्धारित सुरक्षा भूमिकाओं के साथ भूमिका-आधारित परीक्षण, कौशल प्रणाली और व्यापक जीवनचक्र प्रबंधन। संवादात्मक कमांड से कमजोरी खोज तक एंड-टू-एंड स्वचालन के लिए MCP प्रोटोकॉल और AI एजेंटों का उपयोग करता है।
• HexStrikeAI - HexStrike AI MCP Agents एक उन्नत MCP सर्वर है जो AI एजेंटों (Claude, GPT, Copilot, आदि) को स्वचालित पेंटेस्टिंग, कमजोरी खोज, बग बाउंटी स्वचालन और सुरक्षा अनुसंधान के लिए 150+ साइबर सुरक्षा उपकरणों को स्वायत्त रूप से चलाने की सुविधा देता है।
• mcp-for-security - SQLMap, FFUF, NMAP, Masscan और अन्य लोकप्रिय सुरक्षा उपकरणों के लिए मॉडल कॉन्टेक्स्ट प्रोटोकॉल सर्वरों का संग्रह। सुरक्षा परीक्षण और पैठ परीक्षण को AI वर्कफ़्लो में एकीकृत करें।
• mcp-security-hub - AI सहायकों तक आक्रामक सुरक्षा उपकरण पहुँचाने वाले MCP सर्वरों का बढ़ता संग्रह। Nmap, Ghidra, Nuclei, SQLMap, Hashcat और अन्य।
• Burp MCP Server - Burp के लिए MCP सर्वर
• burpgpt - एक Burp Suite एक्सटेंशन जो अत्यधिक विशिष्ट कमजोरियों की खोज के लिए अतिरिक्त पैसिव स्कैन करने हेतु OpenAI के GPT को एकीकृत करता है और किसी भी प्रकार का ट्रैफ़िक-आधारित विश्लेषण चलाने में सक्षम बनाता है।
• guardian-cli - AI-संचालित सुरक्षा परीक्षण और कमजोरी स्कैनर। Guardian CLI एक बुद्धिमान सुरक्षा परीक्षण उपकरण है जो पैठ परीक्षण, कमजोरी आकलन और सुरक्षा ऑडिटिंग को स्वचालित करने के लिए AI का लाभ उठाता है।
• AutoPentestX - AutoPentestX – Linux स्वचालित पेंटेस्टिंग और कमजोरी रिपोर्टिंग उपकरण
• HackGPT - हैकिंग के लिए ChatGPT का उपयोग करने वाला एक उपकरण
• nano-analyzer - AISLE द्वारा एक न्यूनतम LLM-संचालित ज़ीरो-डे कमजोरी स्कैनर।
• clearwing - LangGraph पर निर्मित स्वायत्त कमजोरी स्कैनर और सोर्स-कोड खोजक।
• Zen-AI-Pentest - AI-संचालित पैठ परीक्षण फ्रेमवर्क जिसमें स्वचालित कमजोरी स्कैनिंग, मल्टी-एजेंट प्रणाली और अनुपालन रिपोर्टिंग शामिल है। 72+ सुरक्षा उपकरण, Docker सैंडबॉक्स, ReAct एजेंट, हमले के पथ विश्लेषण।
• Violin - पर्यवेक्षित, एजेंटिक Hermes Agent पेंटेस्ट प्रोफ़ाइल: इंटरैक्टिव स्कोपिंग, स्कोप सत्यापन और अधिकृत टोही, एक्सप्लॉइट सत्यापन एवं रिपोर्टिंग के लिए अनुमोदन गेट्स के साथ 31 कौशल-आधारित प्लेबुक (OWASP Top 10, API Top 10, LLM Top 10)।
• NeuroSploit - Rust में स्वायत्त मल्टी-मॉडल पेंटेस्टिंग हार्नेस। LLM पूल ब्लैक-बॉक्स, व्हाइट-बॉक्स, ग्रे-बॉक्स और क्लाउड एंगेजमेंट मोड में टोही, एजेंट चयन, एक्सप्लॉइट चेनिंग और क्रॉस-मॉडल सत्यापन वोटिंग को संचालित करता है।
• OpenHack - AI-संचालित मल्टी-एजेंट स्कैनर जो आपके कोडबेस में स्वायत्त रूप से SQLi, XSS, IDOR और ऑथ बायपास ढूंढता है, फिर सैंडबॉक्स निष्पादन और ब्राउज़र रीप्ले के माध्यम से प्रत्येक निष्कर्ष को सत्यापित करता है। लगभग 40x कम लागत पर Claude Opus 4.6 के बराबर।
• PentAGI - जटिल पैठ परीक्षण कार्यों के लिए पूर्णतः स्वायत्त मल्टी-एजेंट प्रणाली। सैंडबॉक्स्ड Docker निष्पादन, मल्टी-प्रोवाइडर LLM समर्थन (OpenAI, Anthropic, Gemini, Ollama, DeepSeek), नॉलेज ग्राफ एकीकरण और रीयल-टाइम एजेंट पर्यवेक्षण।
• V3SP3R - Flipper Zero के लिए AI-संचालित हार्डवेयर हैकिंग साथी। हैंड्स-फ्री संचालन के लिए स्मार्ट ग्लास एकीकरण के साथ हार्डवेयर हमलों को नियंत्रित करने हेतु प्राकृतिक भाषा इंटरफ़ेस।

स्टेग्नोग्राफ़ी और गुप्त चैनल

• ST3GG - मल्टी-लेयर एन्कोडिंग, छवि और ऑडियो स्टेग्नोग्राफ़ी, और AI-जनरेटेड मीडिया में छिपे डेटा का पता लगाने के लिए स्टेग्नालिसिस उपकरणों के साथ ऑल-इन-वन स्टेग्नोग्राफ़ी सुइट।

बेंचमार्क और मूल्यांकन

• ISC-Bench - इंटरनल सेफ्टी कोलैप्स: सामान्य कार्य पूर्णता के माध्यम से pass@3 में किसी भी फ्रंटियर LLM (Claude Opus 4.6, GPT-5.4) को जेलब्रेक करता है — कोई एडवरसैरियल प्रॉम्प्टिंग नहीं। ब्लैक-बॉक्स, क्रॉस-डोमेन, क्रॉस-साइंस। नया विफलता मोड। [पेपर]
• jailbreakbench - JailbreakBench: भाषा मॉडलों को जेलब्रेक करने के लिए एक ओपन रोबस्टनेस बेंचमार्क [NeurIPS 2024 Datasets and Benchmarks Track]
• AgentDojo - LLM एजेंटों के लिए हमलों और बचावों का मूल्यांकन करने हेतु एक गतिशील वातावरण।
• AIRTBench - इसके लिए कोड रिपॉज़िटरी: AIRTBench: भाषा मॉडलों में स्वायत्त AI रेड टीमिंग क्षमताओं का मापन
• HackingBuddyGPT benchmark dataset - स्वचालित पेंटेस्टिंग के लिए बेंचमार्क डेटासेट
• AgentDoG - AgentDoG स्वायत्त एजेंटों के लिए एक जोखिम-जागरूक मूल्यांकन और संरक्षण फ्रेमवर्क है। यह ट्रैजेक्ट्री-स्तरीय जोखिम आकलन पर केंद्रित है, जिसका उद्देश्य यह निर्धारित करना है कि विविध अनुप्रयोग परिदृश्यों में किसी एजेंट के निष्पादन ट्रैजेक्ट्री में सुरक्षा जोखिम मौजूद हैं या नहीं।
• AICGSecEval - AI कोड जनरेशन सुरक्षा के लिए Tencent का व्यापक मूल्यांकन बेंचमार्क, स्वचालित टेस्ट हार्नेस के साथ 10 CWE श्रेणियों को कवर करता है
• Inspect - UK AI सुरक्षा संस्थान द्वारा बड़े भाषा मॉडल मूल्यांकन के लिए फ्रेमवर्क। प्रॉम्प्ट इंजीनियरिंग, टूल उपयोग, मल्टी-टर्न डायलॉग और मॉडल-ग्रेडेड स्कोरिंग को कवर करने वाले 200+ पूर्व-निर्मित मूल्यांकन।
• sec-code-bench - 17 कमजोरी श्रेणियों और 4 प्रोग्रामिंग भाषाओं में LLM कोड सुरक्षा क्षमताओं का मूल्यांकन करने के लिए Alibaba का बेंचमार्क

रक्षा और सुरक्षा नियंत्रण

इनपुट/आउटपुट गार्डरेल

• NeMo-Guardrails - NeMo Guardrails एक ओपन-सोर्स टूलकिट है जो LLM-आधारित संवादात्मक प्रणालियों में आसानी से प्रोग्रामेबल गार्डरेल जोड़ने के लिए है।
• LlamaFirewall - LlamaFirewall एक फ्रेमवर्क है जिसे AI-केंद्रित सुरक्षा जोखिमों का पता लगाने और उन्हें कम करने के लिए डिज़ाइन किया गया है, जो इनपुट और आउटपुट की कई परतों का समर्थन करता है, जैसे विशिष्ट LLM चैट और अधिक उन्नत मल्टी-स्टेप एजेंटिक संचालन।
• llm-guard - Protect AI द्वारा LLM Guard एक व्यापक उपकरण है जिसे बड़े भाषा मॉडल (LLM) की सुरक्षा को मजबूत करने के लिए डिज़ाइन किया गया है।
• Guardrails.ai - Guardrails एक Python पैकेज है जो उपयोगकर्ता को बड़े भाषा मॉडल (LLM) के आउटपुट में संरचना, प्रकार और गुणवत्ता की गारंटी जोड़ने की सुविधा देता है
• TrustGate - GenAI अनुप्रयोगों के विरुद्ध हमलों का पता लगाने, रोकने और ब्लॉक करने के लिए जनरेटिव एप्लिकेशन फ़ायरवॉल (GAF)
• ZenGuard AI - AI एजेंटों के लिए सबसे तेज़ ट्रस्ट लेयर
• LocalMod - प्रॉम्प्ट इंजेक्शन पहचान, विषाक्तता फ़िल्टरिंग, PII पहचान और NSFW वर्गीकरण के साथ सेल्फ-होस्टेड सामग्री मॉडरेशन API। 100% ऑफ़लाइन चलता है।
• DynaGuard - उपयोगकर्ता-परिभाषित नीतियों वाला एक गतिशील गार्डरेल मॉडल
• AprielGuard - 8B पैरामीटर सुरक्षा-संरक्षा रक्षक मॉडल
• Safe Zone - Safe Zone एक ओपन-सोर्स PII पहचान और गार्डरेल इंजन है जो संवेदनशील डेटा को LLM और तृतीय-पक्ष API तक लीक होने से रोकता है।
• superagent - Superagent उद्देश्य-प्रशिक्षित गार्डरेल प्रदान करता है जो AI-एजेंटों को सुरक्षित और अनुपालनशील बनाते हैं।
• ShellWard - प्रॉम्प्ट इंजेक्शन, डेटा एक्सफ़िल्ट्रेशन और खतरनाक कमांड के विरुद्ध 8-परत सुरक्षा वाला AI एजेंट सुरक्षा मिडलवेयर। शून्य निर्भरताएँ।
• CodeGate - एक ओपन-सोर्स, गोपनीयता-केंद्रित प्रोजेक्ट जो डेवलपर के कोड जनरेशन AI वर्कफ़्लो में सुरक्षा की एक परत के रूप में कार्य करता है
• Future AGI - असुरक्षित आउटपुट (जेलब्रेक, PII, इंजेक्शन, विषाक्तता) के लिए अंतर्निहित रीयल-टाइम गार्डरेल, मूल्यांकन, ट्रेसिंग, सिमुलेशन और LLM एवं एजेंट अनुप्रयोगों के लिए गेटवे के साथ ओपन-सोर्स सेल्फ-होस्टेबल प्लेटफ़ॉर्म।

एजेंट रनटाइम सुरक्षा और सैंडबॉक्सिंग

• OpenShell - OpenShell स्वायत्त AI एजेंटों के लिए सुरक्षित, निजी रनटाइम है। यह घोषणात्मक YAML नीतियों द्वारा शासित सैंडबॉक्स्ड निष्पादन वातावरण प्रदान करता है जो अनधिकृत फ़ाइल पहुँच, डेटा एक्सफ़िल्ट्रेशन और अनियंत्रित नेटवर्क गतिविधि को रोकते हैं।
• OpenSandbox - AI एजेंटों के लिए सुरक्षित, तेज़ और एक्सटेंसिबल सैंडबॉक्स रनटाइम। मल्टी-लैंग्वेज SDK, Docker/Kubernetes रनटाइम, gVisor/Kata Containers/Firecracker आइसोलेशन। CNCF Landscape प्रोजेक्ट।
• CubeSandbox - Tencent Cloud द्वारा AI एजेंटों के लिए त्वरित, समवर्ती, सुरक्षित और हल्का सैंडबॉक्स। 60ms से कम कोल्ड स्टार्ट, <5MB मेमोरी ओवरहेड, E2B SDK संगत। अत्यधिक आइसोलेशन (समर्पित कर्नेल + eBPF) के साथ RustVMM और KVM पर निर्मित।
• Aegis - Antropos द्वारा AI एजेंटों के लिए ओपन-सोर्स EDR। स्वायत्त AI एजेंटों की प्रक्रियाओं, फ़ाइलों, नेटवर्क और व्यवहार की रीयल-टाइम निगरानी करें। कोई टेलीमेट्री नहीं, कोई क्लाउड नहीं, सब कुछ लोकल रहता है।
• Microsoft Agent Governance Toolkit - Microsoft से AI एजेंट गवर्नेंस टूलकिट — नीति प्रवर्तन, ज़ीरो-ट्रस्ट पहचान, निष्पादन सैंडबॉक्सिंग और स्वायत्त AI एजेंटों के लिए विश्वसनीयता इंजीनियरिंग। 10/10 OWASP Agentic Top 10 को कवर करता है।
• agentfield - क्रिप्टोग्राफ़िक पहचान, नीति प्रवर्तन और ऑडिट-अनुकूल अवलोकनीयता के साथ एजेंट प्रणालियों के लिए ओपन-सोर्स कंट्रोल प्लेन।
• leash - Leash AI कोडिंग एजेंटों को कंटेनरों में लपेटता है और उनकी गतिविधि की निगरानी करता है।
• vibekit - Claude Code, Gemini, Codex — या किसी भी कोडिंग एजेंट — को संवेदनशील डेटा रिडक्शन और अवलोकनीयता के साथ एक साफ, पृथक सैंडबॉक्स में चलाएँ।
• pipelock - AI एजेंटों के लिए सुरक्षा हार्नेस — DLP स्कैनिंग, SSRF सुरक्षा, MCP प्रतिक्रिया स्कैनिंग और वर्कस्पेस अखंडता निगरानी के साथ ईग्रेस प्रॉक्सी
• skill-scanner - AI एजेंट स्किल्स के लिए एक सुरक्षा स्कैनर जो प्रॉम्प्ट इंजेक्शन, डेटा एक्सफ़िल्ट्रेशन और दुर्भावनापूर्ण कोड पैटर्न का पता लगाता है। व्यापक खतरे का पता लगाने के लिए पैटर्न-आधारित पहचान (YAML + YARA), LLM-एज़-ए-जज और व्यवहारिक डेटाफ़्लो विश्लेषण को जोड़ता है।
• SkillSpector - AI एजेंट स्किल्स के लिए सुरक्षा स्कैनर। स्टैटिक विश्लेषण + वैकल्पिक LLM सिमेंटिक मूल्यांकन के साथ 16 श्रेणियों में 64 कमजोरी पैटर्न का पता लगाता है। मल्टी-फॉर्मेट आउटपुट (JSON, Markdown, SARIF)।
• Project CodeGuard - AI-सहायित विकास वर्कफ़्लो को सुरक्षित करने के लिए CoSAI ओपन सोर्स प्रोजेक्ट। CodeGuard AI कोडिंग सहायकों के लिए सुरक्षा नियंत्रण और गार्डरेल प्रदान करता है ताकि AI-जनरेटेड कोड विकास के दौरान कमजोरियाँ पेश न हों।
• AgentLens - AI सुरक्षा और व्याख्यात्मकता अनुसंधान के लिए एजेंट अवलोकनीयता और रीप्ले टूलिंग। मल्टी-सेशन एजेंट ट्रैजेक्ट्री चलाने, उन्हें ATIF प्रारूप में कैप्चर करने और सत्रों में फ़ाइल स्थिति परिवर्तनों को ट्रैक करने के लिए हार्नेस। मल्टी-टर्न, मल्टी-सेशन, मल्टी-एजेंट इंटरैक्शन में LLM एजेंट व्यवहार का अध्ययन करने के लिए निर्मित।
• claude-code-devcontainer - बायपास मोड में Claude Code को सुरक्षित रूप से चलाने के लिए सैंडबॉक्स्ड डेवकंटेनर। सुरक्षा ऑडिट और अविश्वसनीय कोड समीक्षा के लिए निर्मित।
• claude-code-safety-net - एक Claude Code प्लगइन जो सुरक्षा जाल के रूप में कार्य करता है, विनाशकारी git और फ़ाइलसिस्टम कमांड को निष्पादित होने से पहले पकड़ लेता है
• OneCLI - AI एजेंटों के लिए ओपन-सोर्स क्रेडेंशियल वॉल्ट। Rust HTTP गेटवे एजेंट अनुरोधों को रोकता है और API क्रेडेंशियल को पारदर्शी रूप से इंजेक्ट करता है ताकि एजेंट कभी भी रॉ कीज़ न रखें। AES-256-GCM एन्क्रिप्शन, प्रति-एजेंट स्कोपिंग, पूर्ण ऑडिट ट्रेल।
• OpenSandbox - AI एजेंटों के लिए सुरक्षित, तेज़ और एक्सटेंसिबल सैंडबॉक्स रनटाइम। मल्टी-लैंग्वेज SDK, Docker/Kubernetes रनटाइम, gVisor/Kata Containers/Firecracker आइसोलेशन। CNCF Landscape प्रोजेक्ट।
• openclaw-shield - OpenClaw एजेंटों के लिए सुरक्षा प्लगइन - गोपनीय डेटा लीक, PII एक्सपोज़र और विनाशकारी कमांड निष्पादन को रोकता है
• clawsec - OpenClaw डिप्लॉयमेंट के लिए सुरक्षा स्कैनर और हार्डनिंग उपकरण। विशेष रूप से OpenClaw गेटवे और एजेंट कॉन्फ़िगरेशन के लिए सुरक्षा आकलन, कॉन्फ़िगरेशन ऑडिटिंग और कमजोरी पहचान प्रदान करता है।
• nanoclaw - सुरक्षा के लिए कंटेनरों में चलने वाला OpenClaw का हल्का विकल्प। WhatsApp से जुड़ता है, मेमोरी रखता है, निर्धारित जॉब्स रखता है, और सीधे Anthropic के Agents SDK पर चलता है। सहयोगी एजेंट टीमों के लिए Agent Swarms का समर्थन करने वाला पहला AI सहायक।
• secureclaw - Adversa AI द्वारा OpenClaw AI एजेंटों के लिए स्वचालित सुरक्षा हार्डनिंग। 51 ऑडिट जाँचें, 12 व्यवहारिक नियम, 9 स्क्रिप्ट, 4 पैटर्न डेटाबेस। पूर्ण OWASP ASI Top 10 कवरेज। प्रॉम्प्ट इंजेक्शन, क्रेडेंशियल चोरी, सप्लाई चेन हमलों और गोपनीयता लीक से सुरक्षा करता है।
• defenseclaw - Cisco AI Defense से OpenClaw के लिए एंटरप्राइज़ गवर्नेंस लेयर। अंतर्निहित CodeGuard SAST, टूल कॉल निरीक्षण इंजन, LLM गार्डरेल प्रॉक्सी और SIEM एकीकरण के साथ स्किल्स, MCP सर्वर और प्लगइन्स को स्कैन करता है। HIGH/CRITICAL निष्कर्षों को स्वतः ब्लॉक करता है।
• microsandbox - मजबूत आइसोलेशन गारंटी के साथ अविश्वसनीय AI-जनरेटेड कोड को सुरक्षित रूप से चलाने के लिए हल्का microVM सैंडबॉक्स
• Adrian - Secure Agentics द्वारा AI एजेंटों के लिए ओपन-सोर्स, AARM-संरेखित रनटाइम सुरक्षा निगरानी और नियंत्रण इंजन। दुर्भावनापूर्ण, गलत-संरेखित या दायरे से बाहर व्यवहार का पता लगाने के लिए एजेंट गतिविधि लॉग (टूल कॉल, क्रियाएँ, आउटपुट) और तर्क ट्रेस का विश्लेषण करता है, वैकल्पिक इन-फ़्लाइट हस्तक्षेप (ऑडिट बनाम ब्लॉक मोड) के साथ। Python (LangChain/LangGraph) और TypeScript SDK, पूर्णतः ऑफ़लाइन सेल्फ-होस्टेबल। Apache-2.0।
• HOL Guard - लोकल-फर्स्ट सुरक्षा हार्नेस जो फ़ाइलें बदलने या नेटवर्क से संपर्क होने से पहले AI कोडिंग एजेंटों (Codex, Claude Code, Cursor, Gemini, Copilot, Hermes, OpenCode) में टूल कॉल को रोकता है। प्री-टूल हुक, अनुमोदन केंद्र, सप्लाई-चेन सलाहकार स्कैनिंग और वैकल्पिक Guard Cloud सिंक।

MCP सुरक्षा

• MCP-Security-Checklist - MCP-आधारित AI उपकरणों के लिए एक व्यापक सुरक्षा चेकलिस्ट। LLM प्लगइन पारिस्थितिकी तंत्रों की सुरक्षा के लिए SlowMist द्वारा निर्मित।
• Awesome-MCP-Security - मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) सुरक्षा के बारे में आपको जो कुछ भी जानना आवश्यक है।
• secure-mcp-gateway - यह सिक्योर MCP गेटवे प्रमाणीकरण, स्वचालित टूल डिस्कवरी, कैशिंग और गार्डरेल प्रवर्तन के साथ निर्मित है।
• mcp-context-protector - context-protector MCP सर्वरों के लिए एक सुरक्षा रैपर है जो अविश्वसनीय MCP सर्वर चलाने से जुड़े जोखिमों का समाधान करता है, जिसमें लाइन जंपिंग, अप्रत्याशित सर्वर कॉन्फ़िगरेशन परिवर्तन और अन्य प्रॉम्प्ट इंजेक्शन हमले शामिल हैं
• mcp-guardian - MCP Guardian आपके LLM असिस्टेंट की MCP सर्वरों तक पहुँच का प्रबंधन करता है, जिससे आपको अपने LLM की गतिविधि पर रीयल-टाइम नियंत्रण मिलता है।
• MCP Audit VSCode Extension - VSCode में सभी GitHub Copilot MCP टूल कॉल को केंद्रीय रूप से आसानी से ऑडिट और लॉग करें।
• MCP-Scan - MCP सर्वरों के लिए एक सुरक्षा स्कैनिंग उपकरण
• ATR (Agent Threat Rules) - AI एजेंट खतरों के लिए ओपन-सोर्स पहचान नियम। 9 श्रेणियों में प्रॉम्प्ट इंजेक्शन, टूल पॉइज़निंग, क्रेडेंशियल एक्सफ़िल्ट्रेशन को कवर करने वाले 108 regex नियम। Cisco AI Defense द्वारा उपयोग किए जाते हैं। MIT लाइसेंस।
• MCPProxy - लोकल-फर्स्ट MCP प्रॉक्सी जिसमें टूल-पॉइज़निंग और रग-पुल हमलों का पता लगाने के लिए प्रति-टूल SHA-256 क्वारंटाइन, टूल कॉल की स्वचालित संवेदनशील-डेटा और गोपनीय स्कैनिंग, अविश्वसनीय MCP सर्वरों के लिए Docker सैंडबॉक्स आइसोलेशन और OAuth 2.1 शामिल है। MIT लाइसेंस।

मॉडल और आर्टिफैक्ट स्कैनिंग

• modelscan - ModelScan Protect AI का एक ओपन सोर्स प्रोजेक्ट है जो यह निर्धारित करने के लिए मॉडलों को स्कैन करता है कि उनमें असुरक्षित कोड है या नहीं।
• picklescan - संदिग्ध क्रियाएँ करने वाली Python Pickle फ़ाइलों का पता लगाने वाला सुरक्षा स्कैनर
• fickling - एक Python पिकलिंग डीकंपाइलर और स्टैटिक विश्लेषक
• medusa - 74+ विश्लेषकों, 180+ AI एजेंट सुरक्षा नियमों और बुद्धिमान फॉल्स पॉज़िटिव कमी वाला AI-फर्स्ट सुरक्षा स्कैनर। सभी भाषाओं का समर्थन करता है। React2Shell, mcp-remote RCE के लिए CVE पहचान।
• julius - सुरक्षा पेशेवरों के लिए LLM सेवा फ़िंगरप्रिंटिंग उपकरण। पैठ परीक्षण और हमले की सतह खोज के दौरान 32+ AI सेवाओं (Ollama, vLLM, LiteLLM, Hugging Face TGI, आदि) का पता लगाता है। सर्वर बुनियादी ढाँचे की पहचान के लिए HTTP-आधारित सेवा फ़िंगरप्रिंटिंग का उपयोग करता है।
• a2a-scanner - संभावित खतरों और सुरक्षा मुद्दों के लिए A2A एजेंटों को स्कैन करें### AI-सहायित रक्षात्मक सुरक्षा
• Claude Code Security Review - क्लॉड का उपयोग करके सुरक्षा कमजोरियों के लिए कोड परिवर्तनों का विश्लेषण करने वाला एक AI-संचालित सुरक्षा समीक्षा GitHub Action।
• deepsec - बड़े कोडबेस में कठिन-से-पहचाने जाने वाले मुद्दों को खोजने के लिए Vercel Labs द्वारा एजेंट-संचालित भेद्यता स्कैनर। समानांतर स्कैनिंग, PR डिफ़ समीक्षा और CI/CD एकीकरण का समर्थन करता है।
• defending-code-reference-harness - क्लॉड का उपयोग करके स्वायत्त भेद्यता खोज और निवारण के लिए संदर्भ कार्यान्वयन। इसमें थ्रेट मॉडलिंग, स्कैनिंग, ट्राइएज और पैचिंग कौशल शामिल हैं।
• Visa Vulnerability Agentic Harness - पहचान से LLM-संचालित निवारण और प्रतिकूल सत्यापन तक 11 चरणों वाली एजेंटिक SAST पाइपलाइन। SARIF आउटपुट करती है, Claude Code, Copilot और Gemini के साथ एकीकृत होती है।
• GhidraGPT - स्वचालित कोड विश्लेषण, वेरिएबल नामकरण, भेद्यता पहचान और स्पष्टीकरण निर्माण के लिए GPT मॉडल को Ghidra में एकीकृत करता है।
• IDAssist - IDA Pro के लिए AI-संचालित रिवर्स इंजीनियरिंग प्लगइन। सिमेंटिक नॉलेज ग्राफ़, RAG दस्तावेज़ खोज और कई LLM प्रदाताओं (OpenAI, Anthropic, Ollama, LiteLLM) के समर्थन के साथ LLM-संचालित विश्लेषण को IDA के इंटरफ़ेस में एकीकृत करता है। फ़ंक्शंस का विश्लेषण करता है, नाम बदलने का सुझाव देता है, कोड के बारे में प्रश्नों का उत्तर देता है।
• ThreatForest - Strands फ्रेमवर्क पर निर्मित एजेंटिक थ्रेट मॉडलिंग प्लेटफ़ॉर्म। रिपॉजिटरी से स्वायत्त रूप से आक्रमण ट्री उत्पन्न करता है, आक्रमण चरणों को MITRE ATT&CK तकनीकों से मैप करता है, और कार्रवाई योग्य शमन अनुशंसाएँ तैयार करता है।
• claude-grc-plugin - क्लॉड को वरिष्ठ GRC विश्लेषक में बदलने वाला Claude Code प्लगइन। 15 फ्रेमवर्क (NIST 800-53, FedRAMP, ISO 27001, SOC 2, आदि) को कवर करने वाली 72+ संदर्भ फ़ाइलें, 24 स्लैश कमांड, और संघीय और वाणिज्यिक अनुपालन कार्य के लिए गहन डोमेन ज्ञान।
• Vigil SOC - AI एजेंटों के लिए एक व्यापक ओपन-सोर्स सुरक्षा संचालन प्लेटफ़ॉर्म, जो AI-संचालित वातावरण के लिए वास्तविक समय की निगरानी, खतरे का पता लगाने और घटना प्रतिक्रिया को सक्षम बनाता है।
• AiSOC - ओपन-सोर्स, सेल्फ-होस्टेबल AI-संचालित SOC जो सुरक्षा घटनाओं को इन्जेस्ट करता है, उन्हें सहसंबंधित करता है, LangGraph के माध्यम से स्वायत्त AI-संचालित जाँच चलाता है, और परिणामों को एकीकृत कंसोल में दिखाता है। इसमें पूर्ण एजेंट निर्णय ऑडिट ट्रेल, CI में सार्वजनिक eval हार्नेस और 52 फर्स्ट-पार्टी कनेक्टर शामिल हैं। MIT लाइसेंस प्राप्त।

गोपनीयता और गोपनीय कंप्यूटिंग

• Python Differential Privacy Library
• Diffprivlib - IBM डिफरेंशियल प्राइवेसी लाइब्रेरी
• TenSEAL - टेंसर पर होमोमॉर्फिक एन्क्रिप्शन संचालन करने के लिए एक लाइब्रेरी
• SyMPC - Syft के लिए एक सुरक्षित मल्टीपार्टी कंप्यूटेशन साथी लाइब्रेरी
• Cloaked AI - वेक्टर एम्बेडिंग के लिए ओपन सोर्स प्रॉपर्टी-संरक्षण एन्क्रिप्शन
• dstack - हार्डवेयर-प्रवर्तित अलगाव और डेटा गोपनीयता के साथ सुरक्षित ML/LLM परिनियोजन के लिए ओपन-सोर्स गोपनीय AI फ्रेमवर्क
• PrivacyRaven - डीप लर्निंग सिस्टम के लिए गोपनीयता परीक्षण लाइब्रेरी
• PLOT4ai - Privacy Library Of Threats 4 Artificial Intelligence — जिम्मेदार AI बनाने में सहायता के लिए एक थ्रेट मॉडलिंग लाइब्रेरी
• OpenDP - OpenDP परियोजना से डिफरेंशियल प्राइवेसी एल्गोरिदम के लिए कोर लाइब्रेरी — गोपनीयता-संरक्षण ML प्रशिक्षण पाइपलाइन बनाने के लिए उपयोग की जाती है

डेटा और आपूर्ति श्रृंखला सुरक्षा

• datasig - AIBOM के लिए डेटासेट फ़िंगरप्रिंटिंग
• OWASP AIBOM - AI सामग्री सूची
• Trusera ai-bom - AI सामग्री सूची — अपने इंफ्रास्ट्रक्चर में हर AI एजेंट, मॉडल और API खोजें

एजेंटिक AI सुरक्षा कौशल

• Elastic Agent Skills - Elastic के AI सहायक के लिए कौशलों का संग्रह, जो लॉग, ट्रेस और थ्रेट इंटेलिजेंस में प्राकृतिक भाषा सुरक्षा जाँच को सक्षम बनाता है
• Ghost Security Skills - Claude Code के लिए एजेंट एप्लिकेशन सुरक्षा (appsec) कौशल और उपकरण
• tm_skills - सतत थ्रेट मॉडलिंग में सहायता के लिए एजेंट कौशल
• Trail of Bits Skills Marketplace - सुरक्षा अनुसंधान, भेद्यता पहचान और ऑडिट वर्कफ़्लो के लिए Trail of Bits Claude Code कौशल
• Semgrep Skills - Claude Code और अन्य AI कोडिंग सहायकों के लिए आधिकारिक Semgrep कौशल। आपके AI-सहायित विकास वर्कफ़्लो में सीधे सुरक्षा स्कैनिंग, कोड विश्लेषण और भेद्यता पहचान क्षमताएँ प्रदान करता है।
• claude-bug-bounty - AI-सहायित बग बाउंटी हंटिंग के लिए Claude Code कौशल। 4-गेट सत्यापन चेकलिस्ट और रिपोर्ट निर्माण के साथ रिकॉनिसेंस, IDOR, XSS, SSRF, OAuth, GraphQL और LLM इंजेक्शन परीक्षण को स्वचालित करता है।
• Anthropic Cybersecurity Skills - AI एजेंटों के लिए 734+ संरचित साइबर सुरक्षा कौशल। MITRE ATT&CK मैप किए गए, agentskills.io मानक। Claude Code, Copilot, Codex CLI, Cursor और Gemini CLI के साथ संगत।
• llm-sast-scanner - AI कोडिंग एजेंटों (Claude Code, Codex, आदि) के लिए SAST कौशल, 34 वर्गों में संरचित भेद्यता पहचान के साथ। इसमें सोर्स-टू-सिंक टेंट विश्लेषण, झूठी सकारात्मकता कम करने के लिए Judge सत्यापन, और बेंचमार्क पर 99%+ प्रिसिज़न/रिकॉल शामिल हैं।
• sast-skills - एजेंट कौशलों का संग्रह जो आपके AI कोडर को SAST स्कैनर में बदल देता है
• pentest-ai-agents - आक्रामक सुरक्षा के लिए 31 Claude Code सबएजेंट। रिकॉन, वेब, AD, क्लाउड, मोबाइल, वायरलेस, सोशल इंजीनियरिंग, पेलोड निर्माण, रिवर्स इंजीनियरिंग, एक्सप्लॉइट चेनिंग, डिटेक्शन इंजीनियरिंग, फोरेंसिक और रिपोर्ट निर्माण के लिए विशेष AI सबएजेंट। टियर 2 एजेंट अनुमोदन गेट के साथ उपकरणों को सीधे निष्पादित कर सकते हैं।
• Mantis Skills - Google की विकेंद्रीकृत, अनुक्रमिक, सुरक्षा-केंद्रित एजेंटिक AI कौशलों की पाइपलाइन, जो किसी भी पैमाने के कोडबेस में कमजोरियों की स्वायत्त समीक्षा, डिडुप्लिकेशन, सत्यापन, पुनरुत्पादन और पैचिंग के लिए है। इसमें बहु-चरणीय पाइपलाइन (आर्किटेक्चर विश्लेषण → थ्रेट मॉडलिंग → अनुसंधान → समीक्षा → पुनरुत्पादन → पैचिंग → कैलिब्रेशन → रिफ्लेक्शन), अंतर्निहित सैंडबॉक्सिंग, और एक सतत सीखने का लूप शामिल है जो पुनरावृत्तीय रन में अनुकूलित होता है। RTL हार्डवेयर, IaC, ML पाइपलाइन और संकलित बाइनरी का समर्थन करता है।

सुरक्षा-केंद्रित AI मॉडल

• VulnLLM-R-7B - भेद्यता पहचान के लिए विशेष तर्क LLM। डेटा प्रवाह, नियंत्रण प्रवाह और सुरक्षा संदर्भ का विश्लेषण करने के लिए Chain-of-Thought तर्क का उपयोग करता है। भेद्यता पहचान बेंचमार्क पर Claude-3.7-Sonnet और CodeQL से बेहतर प्रदर्शन करता है। केवल 7B पैरामीटर होने के कारण यह कुशल और तेज़ है।
• Foundation-Sec-8B-Reasoning - Llama-3.1-FoundationAI-SecurityLLM-8B-Reasoning एक ओपन-वेट, 8-बिलियन पैरामीटर इंस्ट्रक्शन-ट्यून्ड भाषा मॉडल है जो साइबर सुरक्षा अनुप्रयोगों के लिए विशिष्ट है। यह Foundation-Sec-8B बेस मॉडल को इंस्ट्रक्शन-फॉलोइंग और तर्क क्षमताओं के साथ विस्तारित करता है।
• Antares (1B & 350M) - fdtn-ai द्वारा भेद्यता स्थानीकरण के लिए एजेंटिक मॉडल। 2B और 0.4B पैरामीटर वेरिएंट में उपलब्ध, कोड में कमजोरियों को स्वायत्त रूप से पहचानने और स्थानीकृत करने के लिए डिज़ाइन किए गए।
• CyberSecQwen-4B - _साइबर सुरक्षा खतरे की खुफिया जानकारी के लिए Qwen3-4B-Instruct-2507 से फाइन-ट्यून किया गया 4B-पैरामीटर CTI विशेषज्ञ।
• Meta-SecAlign-8B / Meta-SecAlign-70B - सुरक्षा-संरेखित Llama मॉडल जो प्रॉम्प्ट इंजेक्शन हमलों का प्रतिरोध करने के लिए फाइन-ट्यून किए गए हैं, प्रतिकूल इनपुट के तहत भी निर्देश पदानुक्रम बनाए रखते हैं
• Lily-Cybersecurity-7B - सुरक्षा विश्लेषण, भेद्यता स्पष्टीकरण और खतरे की खुफिया जानकारी कार्यों के लिए अनुकूलित साइबर सुरक्षा-ट्यून्ड 7B चैट मॉडल।

सुरक्षा क्लासिफ़ायर और प्रॉम्प्ट इंजेक्शन पहचान

• Llama-Guard-4-12B - पाठ और छवि मोडैलिटी में LLM इनपुट और आउटपुट में हानिकारक सामग्री का पता लगाने के लिए Meta का नवीनतम मल्टीमॉडल सुरक्षा क्लासिफ़ायर।
• Llama-Prompt-Guard-2-86M - प्रोडक्शन LLM पाइपलाइनों में प्रॉम्प्ट इंजेक्शन और जेलब्रेक प्रयासों का पता लगाने के लिए Meta का हल्का 86M पैरामीटर मॉडल।
• ShieldGemma-2B - हानिकारक सामग्री का पता लगाने के लिए Google का 2B पैरामीटर टेक्स्ट सुरक्षा क्लासिफ़ायर, Gemma आर्किटेक्चर पर निर्मित।
• DeBERTa Prompt Injection Detector v2 - प्रॉम्प्ट इंजेक्शन पहचान के लिए फाइन-ट्यून किया गया Protect AI का DeBERTa-v3-base, प्रोडक्शन LLM गार्डरेल पाइपलाइनों में व्यापक रूप से उपयोग किया जाता है।
• Prompt Injection Sentinel - कम झूठी-सकारात्मक दर के साथ प्रॉम्प्ट इंजेक्शन और जेलब्रेक वर्गीकरण के लिए फाइन-ट्यून किया गया ModernBERT-large मॉडल।
• Nemotron 3.5 Content Safety - NVIDIA का 4B-पैरामीटर मल्टीमॉडल कंटेंट सुरक्षा मॉडल, जो एक ही इंफ़रेंस कॉल में टेक्स्ट+इमेज इनपुट गार्डरेल, बहुभाषी समर्थन (35+ भाषाएँ), अनुकूलन योग्य एंटरप्राइज़ नीति प्रवर्तन और ऑडिट करने योग्य तर्क को एकीकृत करता है। Nemotron 3 Content Safety का उत्तराधिकारी।
• BrowseSafe - AI ब्राउज़र एजेंटों में प्रॉम्प्ट इंजेक्शन हमलों का पता लगाने के लिए विशेष सुरक्षा मॉडल। BrowseSafe-Bench पर 90.4% F1 स्कोर प्राप्त करता है, कच्ची HTML सामग्री के वास्तविक समय एसिंक्रोनस वर्गीकरण के लिए अनुकूलित।

डोमेन-अनुकूलित सुरक्षा भाषा मॉडल

• ATTACK-BERT - सुरक्षा पाठ को MITRE ATT&CK तकनीकों पर मैप करने के लिए सेंटेंस-ट्रांसफॉर्मर मॉडल।
• CySecBERT - डोमेन-विशिष्ट प्री-ट्रेनिंग के माध्यम से साइबर सुरक्षा और CTI कार्यों के लिए अनुकूलित BERT मॉडल।

डेटासेट

• SafetyPrompts - LLM सुरक्षा और सुरक्षा गुणों का मूल्यांकन करने के लिए सुरक्षा-प्रासंगिक प्रॉम्प्ट्स का क्यूरेटेड संग्रह।
• Do-Not-Answer - उन प्रॉम्प्ट्स का डेटासेट जिनका उत्तर जिम्मेदार LLM को नहीं देना चाहिए, सुरक्षा मूल्यांकन और रेड टीमिंग के लिए।
• JailBreakV-28K - LLM सुरक्षा बेंचमार्किंग के लिए 28,000 जेलब्रेक प्रॉम्प्ट्स का बड़े पैमाने का डेटासेट।
• CL4R1T4S - ChatGPT, Claude, Gemini, Grok, Perplexity, Cursor, Lovable, Replit और अन्य प्रमुख AI टूल्स से लीक हुए सिस्टम प्रॉम्प्ट्स। पारदर्शिता और आक्रमण-सतह अनुसंधान के लिए ज्ञात उत्पादन सिस्टम प्रॉम्प्ट्स का सबसे बड़ा संग्रह।
• LEAKHUB - सिस्टम प्रॉम्प्ट लीक लीडरबोर्ड — AI उत्पादों में सिस्टम प्रॉम्प्ट लीक को ट्रैक करने और रैंक करने के लिए सामुदायिक मंच।
• Leaked System Prompts - वाणिज्यिक AI टूल्स से लीक हुए सिस्टम प्रॉम्प्ट्स का संग्रह — वास्तविक दुनिया की प्रॉम्प्ट इंजीनियरिंग और आक्रमण सतहों को समझने के लिए उपयोगी।