Awesome AI Security

AI सुरक्षा से संबंधित शानदार फ्रेमवर्क, मानकों, सीखने के संसाधनों और ओपन सोर्स टूल्स की एक क्यूरेटेड सूची।
यदि आप योगदान देना चाहते हैं, तो एक PR बनाएं या मुझसे संपर्क करें @ottosulin।
विषय-सूची
सीखने के संसाधन
पठन सामग्री और गाइड
पाठ्यक्रम, लैब्स और CTF
- Memory Poisoning Lab - मेमोरी पॉइज़निंग, रक्षा और मरम्मत के लिए स्थानीय Python शिक्षण लैब, जो सिंथेटिक डेटा और एक स्क्रिप्टेड एजेंट का उपयोग करती है।
- Damn Vulnerable MCP Server - शैक्षिक उद्देश्यों के लिए Model Context Protocol (MCP) का एक जानबूझकर कमज़ोर कार्यान्वयन।
- otto-support - mcp-go का उपयोग करते हुए एक कमज़ोर MCP सर्वर कार्यान्वयन, जिसमें टियरयुक्त प्रमाणीकरण (4 भूमिकाएँ), 19 टूल्स, और विशेषाधिकार उन्नयन तथा टूल दुरुपयोग का अभ्यास करने के लिए Claude Code के साथ अंतर्निहित सैंडबॉक्स्ड कंटेनर शामिल है।
- OWASP WrongSecrets LLM exercise
- vulnerable-mcp-servers-lab - ऐसे सर्वरों का संग्रह जो Pentesting MCP Servers सीखने के लिए जानबूझकर कमज़ोर बनाए गए हैं।
- FinBot Agentic AI Capture The Flag (CTF) Application - FinBot एक Agentic Security Capture The Flag (CTF) इंटरैक्टिव प्लेटफ़ॉर्म है जो एक सिम्युलेटेड Financial Services-केंद्रित एप्लिकेशन का उपयोग करके एजेंटिक AI सिस्टम में वास्तविक दुनिया की कमज़ोरियों का अनुकरण करता है।
- AI-Red-Teaming-Playground-Labs - AI Red Teaming प्रशिक्षण आयोजित करने के लिए AI Red Teaming प्लेग्राउंड लैब्स, जिसमें इंफ्रास्ट्रक्चर भी शामिल है।
- Damn Vulnerable LLM Agent - प्रॉम्प्ट इंजेक्शन, टूल दुरुपयोग और एजेंट सुरक्षा के बारे में सीखने के लिए जानबूझकर कमज़ोर LLM एजेंट
-
- LLMVault - OWASP LLM Top 10 को व्यावहारिक कमज़ोर अभ्यासों के माध्यम से सीखने के लिए एक ओपन-सोर्स CTF-शैली की LLM सुरक्षा लैब, जिसमें प्रॉम्प्ट इंजेक्शन, RAG हमले, सिस्टम प्रॉम्प्ट लीक, टूल दुरुपयोग और एजेंट सुरक्षा शामिल हैं।
- AIGoat - LLM रेड टीमिंग के लिए ओपन-सोर्स AI सुरक्षा प्लेग्राउंड: पूरे OWASP LLM Top 10 को कवर करने वाली 17 हमला लैब्स, 9 CTF चुनौतियाँ, और 3 प्रगतिशील रक्षा स्तर, जो Ollama के साथ स्थानीय रूप से चलते हैं।
- Pwned Labs indirect prompt injection lab - निःशुल्क व्यावहारिक लैब: पुनर्प्राप्त सामग्री में रखे गए निर्देश एक AI सहायक को उसकी विश्वास सीमा से आगे Azure स्टोरेज और डिप्लॉयमेंट क्रेडेंशियल्स तक ले जाते हैं। एक direct injection lab पहले चरण को कवर करती है।
पॉडकास्ट
शासन और जोखिम प्रबंधन