Awesome AI Security

Une liste curatée de frameworks, normes, ressources d'apprentissage et outils open source liés à la sécurité de l'IA.

Si vous souhaitez contribuer, créez une PR ou contactez-moi @ottosulin.

Table des matières

• Ressources d'apprentissage
  • Lectures & Guides
  • Cours, Labs & CTFs
  • Podcasts
• Gouvernance & Gestion des risques
  • Frameworks
  • Normes & Vérification
  • Taxonomies, Terminologie & Bases de données de risques
  • Checklists & Conseils pratiques
• Techniques d'attaque & Red Teaming
  • ML adversarial & Modèles classiques
  • Red Teaming LLM & GenAI
  • IA agentique & Outils d'attaque MCP
  • Sécurité offensive assistée par IA
  • Stéganographie & Canaux couverts
• Benchmarks & Évaluations
• Défense & Contrôles de sécurité
  • Garde-fous d'entrée/sortie
  • Sécurité d'exécution des agents & Sandboxing
  • Sécurité MCP
  • Analyse des modèles & artefacts
  • Sécurité défensive assistée par IA
  • Confidentialité & Calcul confidentiel
  • Sécurité des données & de la chaîne d'approvisionnement
• Compétences en sécurité de l'IA agentique
• Modèles d'IA axés sur la sécurité

Ressources d'apprentissage

Lectures & Guides

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - Centre de ressources NIST pour une IA digne de confiance et responsable
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - Guide de référence associant les menaces GenAI aux contrôles défensifs correspondants.
• NCSC Guidelines for Secure AI System Development - Directives pratiques co-écrites par le NCSC (Royaume-Uni) et la CISA pour le développement sécurisé de l'IA, couvrant la conception, le développement, le déploiement et l'exploitation.
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - Groupe de travail de la Coalition for Secure AI préparant les défenseurs aux menaces de l'ère de l'IA.

Cours, Labs & CTFs

• Damn Vulnerable MCP Server - Une implémentation délibérément vulnérable du Model Context Protocol (MCP) à des fins éducatives.
• otto-support - Une implémentation vulnérable de serveur MCP utilisant mcp-go avec une authentification à plusieurs niveaux (4 rôles), 19 outils, et un conteneur sandboxé intégré avec Claude Code pour s'entraîner à l'escalade de privilèges et au détournement d'outils.
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - Une collection de serveurs délibérément vulnérables pour apprendre le pentesting des serveurs MCP.
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBot est une plateforme interactive de Capture The Flag (CTF) sur la sécurité agentique qui simule des vulnérabilités réelles dans des systèmes d'IA agentique à l'aide d'une application simulée axée sur les services financiers.
• AI-Red-Teaming-Playground-Labs - Labs de terrain de jeu pour le Red Teaming de l'IA permettant de dispenser des formations au Red Teaming de l'IA, incluant l'infrastructure.
• Damn Vulnerable LLM Agent - Agent LLM intentionnellement vulnérable pour apprendre l'injection de prompt, le détournement d'outils et la sécurité des agents
• • LLMVault - Un laboratoire de sécurité LLM open source de type CTF pour apprendre le Top 10 OWASP LLM à travers des exercices pratiques vulnérables couvrant l'injection de prompt, les attaques RAG, la fuite de prompt système, le détournement d'outils et la sécurité des agents.

Podcasts

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - Podcasts hebdomadaires de Black Hills Information Security explorant comment l'IA transforme la cybersécurité — couvrant les menaces émergentes, les outils et les tendances avec des connaissances pratiques et exploitables.
• GenAI Security podcast

Gouvernance & Gestion des risques