Awesome AI Security

Eine kuratierte Liste großartiger Frameworks, Standards, Lernressourcen und Open-Source-Tools rund um KI-Sicherheit.

Wenn du beitragen möchtest, erstelle einen PR oder kontaktiere mich @ottosulin.

Inhaltsverzeichnis

• Lernressourcen
  • Lektüre & Leitfäden
  • Kurse, Labs & CTFs
  • Podcasts
• Governance & Risikomanagement
  • Frameworks
  • Standards & Verifikation
  • Taxonomien, Terminologie & Risikodatenbanken
  • Checklisten & praktische Leitfäden
• Angriffstechniken & Red Teaming
  • Adversarial ML & klassische Modelle
  • LLM- & GenAI-Red-Teaming
  • Agentische KI & MCP-Angriffstools
  • KI-gestützte offensive Sicherheit
  • Steganografie & verdeckte Kanäle
• Benchmarks & Evaluierungen
• Verteidigung & Sicherheitskontrollen
  • Input/Output-Guardrails
  • Agent-Runtime-Sicherheit & Sandboxing
  • MCP-Sicherheit
  • Modell- & Artefakt-Scanning
  • KI-gestützte defensive Sicherheit
  • Datenschutz & Confidential Computing
  • Daten- & Lieferkettensicherheit
• Agentische KI-Sicherheitsfähigkeiten
• Sicherheitsfokussierte KI-Modelle

Lernressourcen

Lektüre & Leitfäden

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - NIST Trustworthy & Responsible AI Resource Center
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - Referenzleitfaden, der GenAI-Bedrohungen den entsprechenden defensiven Kontrollen zuordnet.
• NCSC Guidelines for Secure AI System Development - Praktische Leitlinien, mitverfasst von NCSC (UK) und CISA für sichere KI-Entwicklung, die Design, Entwicklung, Deployment und Betrieb abdecken.
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - Coalition for Secure AI Workstream, der Verteidiger auf Bedrohungen im KI-Zeitalter vorbereitet.

Kurse, Labs & CTFs

• Damn Vulnerable MCP Server - Eine absichtlich verwundbare Implementierung des Model Context Protocol (MCP) zu Bildungszwecken.
• otto-support - Eine verwundbare MCP-Server-Implementierung mit mcp-go mit gestufter Authentifizierung (4 Rollen), 19 Tools und integriertem sandboxed Container mit Claude Code zum Üben von Privilegieneskalation und Tool-Missbrauch.
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - Eine Sammlung von Servern, die absichtlich verwundbar sind, um das Pentesting von MCP-Servern zu erlernen.
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBot ist eine interaktive Agentic Security Capture The Flag (CTF)-Plattform, die reale Schwachstellen in agentischen KI-Systemen mithilfe einer simulierten, auf Finanzdienstleistungen ausgerichteten Anwendung simuliert.
• AI-Red-Teaming-Playground-Labs - AI Red Teaming Playground-Labs zum Durchführen von AI Red Teaming-Schulungen inklusive Infrastruktur.
• Damn Vulnerable LLM Agent - Absichtlich verwundbarer LLM-Agent zum Erlernen von Prompt Injection, Tool-Missbrauch und Agent-Sicherheit
• • LLMVault - Ein Open-Source-CTF-artiges LLM-Sicherheitslab zum Erlernen der OWASP LLM Top 10 durch praktische verwundbare Übungen zu Prompt Injection, RAG-Angriffen, System-Prompt-Leakage, Tool-Missbrauch und Agent-Sicherheit.

Podcasts

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - Wöchentliche Podcasts von Black Hills Information Security, die erkunden, wie KI die Cybersicherheit verändert – mit Berichterstattung über aufkommende Bedrohungen, Tools und Trends mit praktischem, umsetzbarem Wissen.
• GenAI Security podcast

Governance & Risikomanagement