Awesome AI Security

AI सुरक्षा से संबंधित शानदार फ्रेमवर्क, मानकों, सीखने के संसाधनों और ओपन सोर्स टूल्स की एक क्यूरेटेड सूची।

यदि आप योगदान देना चाहते हैं, तो एक PR बनाएं या मुझसे संपर्क करें @ottosulin।

विषय-सूची

• सीखने के संसाधन
  • पठन और मार्गदर्शिकाएँ
  • पाठ्यक्रम, लैब्स और CTFs
  • पॉडकास्ट
• शासन और जोखिम प्रबंधन
  • फ्रेमवर्क
  • मानक और सत्यापन
  • वर्गीकरण, शब्दावली और जोखिम डेटाबेस
  • चेकलिस्ट और व्यावहारिक मार्गदर्शन
• हमला तकनीकें और रेड टीमिंग
  • एडवरसैरियल ML और क्लासिकल मॉडल
  • LLM और GenAI रेड टीमिंग
  • एजेंटिक AI और MCP हमला उपकरण
  • AI-सहायित आक्रामक सुरक्षा
  • स्टेग्नोग्राफी और गुप्त चैनल
• बेंचमार्क और मूल्यांकन
• रक्षा और सुरक्षा नियंत्रण
  • इनपुट/आउटपुट गार्डरेल्स
  • एजेंट रनटाइम सुरक्षा और सैंडबॉक्सिंग
  • MCP सुरक्षा
  • मॉडल और आर्टिफैक्ट स्कैनिंग
  • AI-सहायित रक्षात्मक सुरक्षा
  • गोपनीयता और कॉन्फिडेंशियल कंप्यूटिंग
  • डेटा और सप्लाई चेन सुरक्षा
• एजेंटिक AI सुरक्षा कौशल
• सुरक्षा-केंद्रित AI मॉडल

सीखने के संसाधन

पठन और मार्गदर्शिकाएँ

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - NIST विश्वसनीय और जिम्मेदार AI संसाधन केंद्र
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - GenAI खतरों को संबंधित रक्षात्मक नियंत्रणों से मैप करने वाली संदर्भ मार्गदर्शिका।
• NCSC Guidelines for Secure AI System Development - NCSC (UK) और CISA द्वारा सह-लेखित सुरक्षित AI विकास के लिए व्यावहारिक दिशानिर्देश, जो डिज़ाइन, विकास, तैनाती और संचालन को कवर करते हैं।
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - AI-युग के खतरों के लिए रक्षकों को तैयार करने वाला Coalition for Secure AI कार्यसमूह।

पाठ्यक्रम, लैब्स और CTFs

• Damn Vulnerable MCP Server - शैक्षिक उद्देश्यों के लिए Model Context Protocol (MCP) का एक जानबूझकर कमजोर कार्यान्वयन।
• otto-support - mcp-go का उपयोग करके एक कमजोर MCP सर्वर कार्यान्वयन जिसमें टियरयुक्त प्रमाणीकरण (4 भूमिकाएँ), 19 टूल्स, और विशेषाधिकार वृद्धि और टूल दुरुपयोग का अभ्यास करने के लिए Claude Code के साथ अंतर्निहित सैंडबॉक्स्ड कंटेनर शामिल है।
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - Pentesting MCP Servers सीखने के लिए जानबूझकर कमजोर सर्वरों का संग्रह।
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBot एक Agentic Security Capture The Flag (CTF) इंटरैक्टिव प्लेटफ़ॉर्म है जो एक सिम्युलेटेड वित्तीय सेवाओं-केंद्रित एप्लिकेशन का उपयोग करके एजेंटिक AI सिस्टम में वास्तविक दुनिया की कमजोरियों का अनुकरण करता है।
• AI-Red-Teaming-Playground-Labs - AI रेड टीमिंग प्रशिक्षण चलाने के लिए AI रेड टीमिंग प्लेग्राउंड लैब्स, जिसमें इंफ्रास्ट्रक्चर भी शामिल है।
• Damn Vulnerable LLM Agent - प्रॉम्प्ट इंजेक्शन, टूल दुरुपयोग और एजेंट सुरक्षा के बारे में सीखने के लिए जानबूझकर कमजोर LLM एजेंट
• • LLMVault - OWASP LLM Top 10 को प्रैक्टिकल कमजोर अभ्यासों के माध्यम से सीखने के लिए एक ओपन-सोर्स CTF-शैली LLM सुरक्षा लैब, जो प्रॉम्प्ट इंजेक्शन, RAG हमलों, सिस्टम प्रॉम्प्ट लीकेज, टूल दुरुपयोग और एजेंट सुरक्षा को कवर करती है।

पॉडकास्ट

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - Black Hills Information Security से साप्ताहिक पॉडकास्ट जो यह पता लगाते हैं कि AI साइबर सुरक्षा को कैसे बदलता है—उभरते खतरों, टूल्स और रुझानों को व्यावहारिक, कार्रवाई योग्य ज्ञान के साथ कवर करते हुए।
• GenAI Security podcast

शासन और जोखिम प्रबंधन

फ्रेमवर्क

• NIST AI Risk Management Framework
• ISO/IEC 42001 Artificial Intelligence Management System
• ISO/IEC 23894:2023 Information technology — Artificial intelligence — Guidance on risk management
• Google Secure AI Framework (SAIF)
• ENISA Multilayer Framework for Good Cybersecurity Practices for AI
• OWASP Artificial Intelligence Maturity Assessment
• CSA AI Model Risk Framework
• CSA Maestro AI Threat Modeling Framework
• CSA AI Controls Matrix - AI सिस्टम के लिए व्यापक नियंत्रण मैट्रिक्स जो शासन, जोखिम और अनुपालन को कवर करता है।
• OWASP Agentic AI Top 10 - Agentic AI के लिए Top 10 जो OWASP और CSA रेड टीमिंग के मूल के रूप में कार्य करता है।
• OWASP GenAI Crosswalk - OWASP GenAI जोखिमों (LLM Top 10, Agentic Top 10, DSGAI 2026) को 25 उद्योग फ्रेमवर्क से मैप करने वाला इंटरैक्टिव क्रॉसवॉक, जिसमें कवरेज स्कोरिंग और गैप विश्लेषण शामिल है।
• NIST SP 800-218A Secure Software Development Practices for Generative AI and Dual-Use Foundation Models - SSDF (SP 800-218) का विस्तार जिसमें GenAI और दोहरे उपयोग वाले फाउंडेशन मॉडल विकास के लिए विशिष्ट प्रथाएँ शामिल हैं।
• NIST AI 600-1 Generative AI Profile - NIST AI RMF 1.0 का सहयोगी प्रोफ़ाइल जिसमें जनरेटिव AI सिस्टम के लिए विशिष्ट जोखिम कार्रवाइयाँ शामिल हैं, जिनमें हैलुसिनेशन, डेटा पॉइज़निंग और गोपनीयता जैसे अद्वितीय जोखिम शामिल हैं।