Awesome AI Security

Eine kuratierte Liste großartiger Frameworks, Standards, Lernressourcen und Open-Source-Tools rund um KI-Sicherheit.
Wenn du beitragen möchtest, erstelle einen PR oder kontaktiere mich @ottosulin.
Inhaltsverzeichnis
Lernressourcen
Lektüre & Leitfäden
Kurse, Labs & CTFs
- Memory Poisoning Lab - Lokales Python-Lehrlabor für Memory Poisoning, Verteidigung und Reparatur unter Verwendung synthetischer Daten und eines skriptgesteuerten Agenten.
- Damn Vulnerable MCP Server - Eine absichtlich verwundbare Implementierung des Model Context Protocol (MCP) zu Bildungszwecken.
- otto-support - Eine verwundbare MCP-Server-Implementierung mit mcp-go, gestufter Authentifizierung (4 Rollen), 19 Tools und einem integrierten sandboxed Container mit Claude Code zum Üben von Privilegieneskalation und Tool-Missbrauch.
- OWASP WrongSecrets LLM exercise
- vulnerable-mcp-servers-lab - Eine Sammlung von Servern, die absichtlich verwundbar sind, um das Pentesting von MCP-Servern zu erlernen.
- FinBot Agentic AI Capture The Flag (CTF) Application - FinBot ist eine interaktive Agentic Security Capture The Flag (CTF)-Plattform, die reale Schwachstellen in agentischen KI-Systemen mithilfe einer simulierten, auf Finanzdienstleistungen ausgerichteten Anwendung nachbildet.
- AI-Red-Teaming-Playground-Labs - AI Red Teaming Playground-Labs zum Durchführen von AI Red Teaming-Schulungen inklusive Infrastruktur.
- Damn Vulnerable LLM Agent - Absichtlich verwundbarer LLM-Agent zum Erlernen von Prompt Injection, Tool-Missbrauch und Agentensicherheit
-
- LLMVault - Ein Open-Source-CTF-artiges LLM-Sicherheitslabor zum Erlernen der OWASP LLM Top 10 durch praktische verwundbare Übungen zu Prompt Injection, RAG-Angriffen, System-Prompt-Leakage, Tool-Missbrauch und Agentensicherheit.
- AIGoat - Open-Source-KI-Sicherheits-Spielwiese für LLM-Red-Teaming: 17 Angriffslabs, die die gesamten OWASP LLM Top 10 abdecken, 9 CTF-Herausforderungen und 3 progressive Verteidigungsstufen, lokal mit Ollama ausgeführt.
- Pwned Labs indirect prompt injection lab - Kostenloses praxisorientiertes Lab: In abgerufenen Inhalten platzierte Anweisungen führen einen KI-Assistenten über seine Vertrauensgrenze hinaus zu Azure-Speicher- und Bereitstellungsanmeldeinformationen. Ein direct injection lab deckt den ersten Schritt ab.
Podcasts
Governance & Risikomanagement