Awesome AI Security 
Une liste organisée de frameworks, normes, ressources d'apprentissage et outils open source remarquables liés à la sécurité de l'IA.
Si vous souhaitez contribuer, créez une PR ou contactez-moi @ottosulin.
Table des matières
Ressources d'apprentissage
Lectures et guides
Cours, laboratoires et CTF
- Damn Vulnerable MCP Server - Une implémentation volontairement vulnérable du Model Context Protocol (MCP) à des fins pédagogiques.
- otto-support - Une implémentation de serveur MCP vulnérable utilisant mcp-go avec une authentification à plusieurs niveaux (4 rôles), 19 outils et un conteneur sandbox intégré avec Claude Code pour s'entraîner à l'élévation de privilèges et à l'utilisation abusive d'outils.
- OWASP WrongSecrets LLM exercise
- vulnerable-mcp-servers-lab - Une collection de serveurs volontairement vulnérables pour apprendre le pentesting des serveurs MCP.
- FinBot Agentic AI Capture The Flag (CTF) Application - FinBot est une plateforme interactive de Capture The Flag (CTF) de sécurité agentique qui simule des vulnérabilités réelles dans les systèmes d'IA agentique à l'aide d'une application simulée axée sur les services financiers.
- AI-Red-Teaming-Playground-Labs - Laboratoires de type playground pour le red teaming IA, permettant d'organiser des formations au red teaming IA, infrastructure comprise.
- Damn Vulnerable LLM Agent - Agent LLM volontairement vulnérable pour apprendre l'injection de prompt, l'utilisation abusive d'outils et la sécurité des agents
-
- LLMVault - Un laboratoire open source de sécurité LLM de style CTF pour apprendre l'OWASP LLM Top 10 grâce à des exercices pratiques sur des systèmes vulnérables couvrant l'injection de prompt, les attaques RAG, la fuite du prompt système, l'utilisation abusive d'outils et la sécurité des agents.
Podcasts
Gouvernance et gestion des risques
Frameworks
Normes et vérification
Taxonomies, terminologie et bases de données de risques
Listes de contrôle et conseils pratiques
Techniques d'attaque et red teaming
ML adversarial et modèles classiques
- Adversarial Robustness Toolkit - ART se concentre sur les menaces d'évasion (modifier le comportement du modèle avec des modifications d'entrée), d'empoisonnement (contrôler un modèle avec des modifications des données d'entraînement), d'extraction (voler un modèle par des requêtes) et d'inférence (attaquer la confidentialité des données d'entraînement)
- cleverhans - Une bibliothèque d'exemples adversariaux pour construire des attaques, élaborer des défenses et évaluer les deux
- foolbox - Une boîte à outils Python pour créer des exemples adversariaux qui trompent les réseaux de neurones dans PyTorch, TensorFlow et JAX
- TextAttack - Un framework Python pour les attaques adversariales, l'augmentation de données et l'entraînement de modèles en NLP
- Counterfit - couche d'automatisation générique pour évaluer la sécurité des systèmes d'apprentissage automatique
- OffsecML Playbook - Une collection de TTP offensifs et adversariaux avec des preuves de concept
- BadDiffusion - Dépôt officiel pour reproduire l'article « How to Backdoor Diffusion Models? » publié à CVPR 2023
- secml-torch - SecML-Torch : une bibliothèque pour l'évaluation de la robustesse des modèles d'apprentissage profond
Red teaming LLM et GenAI
- garak - outil de sondage de sécurité pour les LLM
- ai-scanner - Application web open source pour les évaluations de sécurité des modèles d'IA, construite sur NVIDIA garak. Propose 179 sondes, l'analyse multi-cibles, des analyses planifiées, le scoring ASR et l'intégration SIEM.
- promptfoo - Testez vos prompts, agents et RAG. Red teaming, pentesting et analyse de vulnérabilités pour les LLM. Comparez les performances de GPT, Claude, Gemini, Llama et plus encore. Configurations déclaratives simples avec intégration en ligne de commande et CI/CD.
- PyRIT - Le Python Risk Identification Tool pour l'IA générative (PyRIT) est un framework open source conçu pour permettre aux professionnels de la sécurité et aux ingénieurs d'identifier de manière proactive les risques dans les systèmes d'IA générative.
- PurpleLlama - Ensemble d'outils pour évaluer et améliorer la sécurité des LLM.
- augustus - Framework de test de sécurité des LLM pour détecter les injections de prompt, les jailbreaks et les attaques adversariales. 190+ sondes, 28 fournisseurs, un binaire Go unique. Prêt pour la production avec analyse concurrente, limitation de débit et logique de nouvelle tentative.
- FuzzyAI - Un outil puissant pour le fuzzing automatisé des LLM. Il est conçu pour aider les développeurs et les chercheurs en sécurité à identifier et à atténuer les jailbreaks potentiels dans leurs API LLM.
- EasyJailbreak - Un framework Python facile à utiliser pour générer des prompts de jailbreak adversariaux.
- gptfuzz - Dépôt officiel de GPTFUZZER : Red Teaming Large Language Models with Auto-Generated Jailbreak Prompts
- llamator - Framework pour tester les vulnérabilités des grands modèles de langage (LLM).
- agentic_security - Scanner de vulnérabilités LLM agentique / kit de red teaming IA
IA agentique et outils d'attaque MCP
- RAMPART - framework de test de sûreté et de sécurité natif pytest pour les applications d'IA agentique.
- AI-Infra-Guard - Une plateforme de red teaming IA complète, intelligente et facile à utiliser développée par Tencent Zhuque Lab. Intègre des modules pour Infra Scan, MCP Scan et l'évaluation des jailbreaks, fournissant une interface web en un clic, des API REST et un déploiement basé sur Docker pour une évaluation complète de la sécurité de l'IA.
- OpenPromptInjection - Un benchmark pour les attaques et les défenses contre l'injection de prompt
- AIMap - Plateforme de découverte et de test de sécurité à l'échelle d'Internet pour l'infrastructure d'agents IA exposée. Interroge Shodan pour trouver des serveurs MCP, des instances Ollama, des proxys vLLM/LiteLLM, et plus encore — puis prend des empreintes, évalue les risques et lance des suites d'attaque spécifiques aux protocoles avec des résultats diffusés en temps réel.### Sécurité offensive assistée par IA
- PentestGPT - Un outil de test d'intrusion propulsé par GPT
- HackingBuddyGPT - Aider les hackers éthiques à utiliser les LLM en 50 lignes de code ou moins
- cai - IA de cybersécurité (CAI), une intelligence artificielle open source prête pour le Bug Bounty (article)
- shannon - Pentester IA entièrement autonome pour applications web et API par Keygraph. Tests de sécurité en boîte blanche qui analysent le code source, identifient les vecteurs d'attaque et exécutent de véritables exploits. Taux de réussite de 96,15 % (100/104 exploits) sur le benchmark XBOW.
- strix - Strix sont des agents IA autonomes qui agissent comme de vrais hackers : ils exécutent votre code dynamiquement, trouvent des vulnérabilités et les valident via de véritables preuves de concept
- redamon - Framework de red team agentique propulsé par l'IA qui automatise les opérations de sécurité offensive, de la reconnaissance à l'exploitation en passant par la post-exploitation, sans aucune intervention humaine.
Stéganographie et canaux cachés
- ST3GG - Suite de stéganographie tout-en-un avec encodage multi-couches, stéganographie d'images et audio, et outils de stéganalyse pour détecter les données cachées dans les médias générés par l'IA.
Benchmarks et évaluations
- ISC-Bench - Effondrement interne de la sécurité : jailbreake tous les LLM de pointe (Claude Opus 4.6, GPT-5.4) en pass@3 via l'exécution normale de tâches — sans invite adversarial. Boîte noire, transversal aux domaines et aux sciences. Mode de défaillance inédit. [Article]
- jailbreakbench - JailbreakBench : un benchmark ouvert de robustesse pour le jailbreak de modèles de langage [NeurIPS 2024 Datasets and Benchmarks Track]
- AgentDojo - Un environnement dynamique pour évaluer les attaques et défenses pour les agents LLM.
- AIRTBench - Dépôt de code pour : AIRTBench : mesurer les capacités de red teaming IA autonome dans les modèles de langage
- HackingBuddyGPT benchmark dataset - Jeu de données de benchmark pour le pentest automatisé
- AgentDoG - AgentDoG est un framework d'évaluation et de garde sensible aux risques pour les agents autonomes. Il se concentre sur l'évaluation des risques au niveau de la trajectoire, afin de déterminer si la trajectoire d'exécution d'un agent contient des risques de sécurité dans divers scénarios d'application.
- AICGSecEval - Benchmark complet d'évaluation de Tencent pour la sécurité de la génération de code IA, couvrant 10 catégories CWE avec banc de test automatisé
- Inspect - Framework d'évaluation des grands modèles de langage par l'UK AI Security Institute. Plus de 200 évaluations pré-construites couvrant l'ingénierie de prompts, l'utilisation d'outils, le dialogue multi-tours et la notation par modèle.
- sec-code-bench - Benchmark d'Alibaba pour évaluer les capacités de sécurité du code des LLM dans 17 catégories de vulnérabilités et 4 langages de programmation
Défense et contrôles de sécurité
Garde-fous d'entrée/sortie
- NeMo-Guardrails - NeMo Guardrails est une boîte à outils open source pour ajouter facilement des garde-fous programmables aux systèmes conversationnels basés sur les LLM.
- LlamaFirewall - LlamaFirewall est un framework conçu pour détecter et atténuer les risques de sécurité centrés sur l'IA, prenant en charge plusieurs couches d'entrées et de sorties, telles que le chat LLM typique et les opérations agentiques multi-étapes plus avancées.
- llm-guard - LLM Guard de Protect AI est un outil complet conçu pour renforcer la sécurité des grands modèles de langage (LLM).
- Guardrails.ai - Guardrails est un package Python qui permet à l'utilisateur d'ajouter des garanties de structure, de type et de qualité aux sorties des grands modèles de langage (LLM)
- TrustGate - Pare-feu d'applications génératives (GAF) pour détecter, prévenir et bloquer les attaques contre les applications GenAI
- ZenGuard AI - La couche de confiance la plus rapide pour les agents IA
- LocalMod - API de modération de contenu auto-hébergée avec détection d'injection de prompts, filtrage de la toxicité, détection des PII et classification NSFW. Fonctionne 100 % hors ligne.
- DynaGuard - Un modèle de garde-fou dynamique avec des politiques définies par l'utilisateur
- AprielGuard - Modèle de garde-fou sûreté–sécurité de 8B paramètres
- Safe Zone - Safe Zone est un moteur open source de détection de PII et de garde-fous qui empêche les données sensibles de fuir vers les LLM et les API tierces.
- superagent - Superagent fournit des garde-fous entraînés à cet effet qui rendent les agents IA sécurisés et conformes.
- ShellWard -
Sécurité d'exécution des agents et sandboxing
- OpenShell - OpenShell est le runtime sûr et privé pour les agents IA autonomes. Il fournit des environnements d'exécution en sandbox régis par des politiques YAML déclaratives qui empêchent les accès non autorisés aux fichiers, l'exfiltration de données et les activités réseau incontrôlées.
- OpenSandbox - Runtime sandbox sécurisé, rapide et extensible pour les agents IA. SDK multi-langages, runtimes Docker/Kubernetes, isolation gVisor/Kata Containers/Firecracker. Projet du paysage CNCF.
- CubeSandbox - Sandbox instantané, concurrent, sécurisé et léger pour les agents IA par Tencent Cloud. Démarrage à froid en moins de 60 ms, surcharge mémoire <5 Mo, compatible SDK E2B. Construit sur RustVMM et KVM avec une isolation extrême (noyau dédié + eBPF).
- Aegis - EDR open source pour les agents IA par Antropos. Surveillez en temps réel les processus, fichiers, réseau et comportement des agents IA autonomes. Aucune télémétrie, aucun cloud, tout reste local.
- Microsoft Agent Governance Toolkit - Boîte à outils de gouvernance des agents IA de Microsoft — application des politiques, identité zero-trust, sandboxing d'exécution et ingénierie de fiabilité pour les agents IA autonomes. Couvre 10/10 de l'OWASP Agentic Top 10.
- agentfield - Plan de contrôle open source pour les systèmes d'agents avec identité cryptographique, application des politiques et observabilité adaptée à l'audit.
- leash - Leash enveloppe les agents de codage IA dans des conteneurs et surveille leur activité.
- vibekit - Exécutez Claude Code, Gemini, Codex — ou tout agent de codage — dans un sandbox propre et isolé avec rédaction des données sensibles et observabilité intégrées.
- pipelock - Harnais de sécurité pour agents IA — proxy de sortie avec scan DLP, protection SSRF, scan des réponses MCP et surveillance de l'intégrité de l'espace de travail
- skill-scanner -
Sécurité MCP
- MCP-Security-Checklist - Une liste de contrôle de sécurité complète pour les outils IA basés sur MCP. Développée par SlowMist pour protéger les écosystèmes de plugins LLM.
- Awesome-MCP-Security - Tout ce que vous devez savoir sur la sécurité du Model Context Protocol (MCP).
- secure-mcp-gateway - Cette passerelle MCP sécurisée est construite avec authentification, découverte automatique d'outils, mise en cache et application de garde-fous.
- mcp-context-protector - context-protector est un wrapper de sécurité pour les serveurs MCP qui traite les risques associés à l'exécution de serveurs MCP non fiables, notamment le saut de ligne, les modifications inattendues de configuration du serveur et d'autres attaques par injection de prompts
- mcp-guardian - MCP Guardian gère l'accès de votre assistant LLM aux serveurs MCP, vous donnant un contrôle en temps réel sur l'activité de votre LLM.
- MCP Audit VSCode Extension - Auditez et journalisez de manière centralisée tous les appels d'outils MCP de GitHub Copilot dans VSCode en toute simplicité.
- MCP-Scan - Un outil de scan de sécurité pour les serveurs MCP
- ATR (Agent Threat Rules) - Règles de détection open source pour les menaces liées aux agents IA. 108 règles regex couvrant l'injection de prompts, l'empoisonnement d'outils, l'exfiltration de credentials dans 9 catégories. Utilisé par Cisco AI Defense. Sous licence MIT.
- MCPProxy - Proxy MCP local-first avec quarantaine SHA-256 par outil pour détecter les attaques d'empoisonnement d'outils et de rug-pull, scan automatique des données sensibles et des secrets dans les appels d'outils, isolation par sandbox Docker pour les serveurs MCP non fiables et OAuth 2.1. Sous licence MIT.
Scan des modèles et artefacts
- modelscan - ModelScan est un projet open source de Protect AI qui scanne les modèles pour déterminer s'ils contiennent du code non sûr.
- picklescan - Scanner de sécurité détectant les fichiers Python Pickle exécutant des actions suspectes
- fickling - Un décompilateur et analyseur statique de pickling Python
- medusa - Scanner de sécurité AI-first avec plus de 74 analyseurs, plus de 180 règles de sécurité pour agents IA, réduction intelligente des faux positifs. Prend en charge tous les langages. Détection de CVE pour React2Shell, RCE mcp-remote.
- julius - Outil d'empreinte de services LLM pour les professionnels de la sécurité. Détecte plus de 32 services IA (Ollama, vLLM, LiteLLM, Hugging Face TGI, etc.) lors de tests d'intrusion et de découverte de la surface d'attaque. Utilise l'empreinte de services basée sur HTTP pour identifier l'infrastructure serveur.
- a2a-scanner - Scannez les agents A2A pour détecter les menaces potentielles et les problèmes de sécurité### Sécurité défensive assistée par IA
- Claude Code Security Review - Une GitHub Action de revue de sécurité propulsée par l'IA utilisant Claude pour analyser les modifications de code à la recherche de vulnérabilités de sécurité.
- deepsec - Scanner de vulnérabilités basé sur des agents par Vercel Labs pour détecter les problèmes difficiles à repérer dans de grandes bases de code à l'aide d'agents de codage. Prend en charge l'analyse parallèle, la revue des diffs de PR et l'intégration CI/CD.
- defending-code-reference-harness - Implémentation de référence pour la découverte et la remédiation autonomes de vulnérabilités avec Claude. Inclut des compétences de modélisation des menaces, de scan, de triage et de correction.
- Visa Vulnerability Agentic Harness - Pipeline SAST agentique en 11 étapes, de la détection à la remédiation assistée par LLM et à la validation adversariale. Produit du SARIF, s'intègre à Claude Code, Copilot et Gemini.
Confidentialité et calcul confidentiel
- Python Differential Privacy Library
- Diffprivlib - La bibliothèque de confidentialité différentielle d'IBM
- TenSEAL - Une bibliothèque pour effectuer des opérations de chiffrement homomorphe sur des tenseurs
- SyMPC - Une bibliothèque compagnon de calcul multipartite sécurisé pour Syft
- Cloaked AI - Chiffrement open-source préservant les propriétés pour les plongements vectoriels
- dstack - Framework IA confidentiel open-source pour le déploiement sécurisé de ML/LLM avec isolation matérielle et confidentialité des données
- PrivacyRaven - bibliothèque de test de confidentialité pour les systèmes d'apprentissage profond
- PLOT4ai - Bibliothèque de menaces pour la vie privée de l'intelligence artificielle — Une bibliothèque de modélisation des menaces pour vous aider à construire une IA responsable
- OpenDP - Bibliothèque centrale pour les algorithmes de confidentialité différentielle du projet OpenDP — utilisée pour construire des pipelines d'entraînement ML préservant la confidentialité
Sécurité des données et de la chaîne d'approvisionnement
- datasig - Empreinte de jeux de données pour l'AIBOM
- OWASP AIBOM - Nomenclature des composants IA
- Trusera ai-bom - Nomenclature des composants IA — découvrez chaque agent IA, modèle et API dans votre infrastructure
Compétences de sécurité IA agentiques
- Elastic Agent Skills - Collection de compétences pour l'assistant IA d'Elastic, permettant des investigations de sécurité en langage naturel à travers les journaux, les traces et le renseignement sur les menaces
- Ghost Security Skills - Compétences et outils de sécurité applicative des agents (appsec) pour Claude Code
- tm_skills - Compétences d'agent pour aider à la modélisation continue des menaces
- Trail of Bits Skills Marketplace - Compétences Claude Code de Trail of Bits pour la recherche en sécurité, la détection de vulnérabilités et les flux de travail d'audit
- Semgrep Skills - Compétences Semgrep officielles pour Claude Code et d'autres assistants de codage IA. Fournit des capacités de scan de sécurité, d'analyse de code et de détection de vulnérabilités directement dans votre flux de développement assisté par IA.
- claude-bug-bounty - Compétence Claude Code pour la chasse aux bugs bounty assistée par IA. Automatise les tests de reconnaissance, IDOR, XSS, SSRF, OAuth, GraphQL et d'injection LLM avec une liste de contrôle de validation à 4 étapes et la génération de rapports.
- Anthropic Cybersecurity Skills - Plus de 734 compétences structurées en cybersécurité pour les agents IA. Mappées MITRE ATT&CK, norme agentskills.io. Compatible avec Claude Code, Copilot, Codex CLI, Cursor et Gemini CLI.
- llm-sast-scanner - Compétence SAST pour les agents de codage IA (Claude Code, Codex, etc.) avec détection structurée de vulnérabilités sur 34 classes. Dispose d'une analyse de taint source-à-puits, d'une vérification Judge pour la réduction des faux positifs et de plus de 99 % de précision/rappel sur les benchmarks.
- sast-skills - Collection de compétences d'agent qui transforment votre codeur IA en scanner SAST
- pentest-ai-agents - 31 sous-agents Claude Code pour la sécurité offensive. Sous-agents IA spécialisés pour la reconnaissance, le web, l'AD, le cloud, le mobile, le sans-fil, l'ingénierie sociale, la création de charges utiles, la rétro-ingénierie, l'enchaînement d'exploits, l'ingénierie de détection, la forensique et la génération de rapports. Les agents de niveau 2 peuvent exécuter directement des outils avec des portes d'approbation.
Modèles IA axés sur la sécurité
- VulnLLM-R-7B - LLM de raisonnement spécialisé pour la détection de vulnérabilités. Utilise le raisonnement en chaîne de pensée pour analyser le flux de données, le flux de contrôle et le contexte de sécurité. Surpasse Claude-3.7-Sonnet et CodeQL sur les benchmarks de détection de vulnérabilités. Seulement 7B paramètres, ce qui le rend efficace et rapide.
- Foundation-Sec-8B-Reasoning - Llama-3.1-FoundationAI-SecurityLLM-8B-Reasoning est un modèle de langage à poids ouverts de 8 milliards de paramètres, ajusté par instructions et spécialisé pour les applications de cybersécurité. Il étend le modèle de base Foundation-Sec-8B avec des capacités de suivi d'instructions et de raisonnement.
- Antares (1B & 350M) - Modèles agentiques pour la localisation de vulnérabilités par fdtn-ai. Disponibles en variantes de 2B et 0,4B paramètres, conçus pour identifier et localiser de manière autonome les vulnérabilités dans le code.
- CyberSecQwen-4B - _Spécialiste CTI de 4B paramètres, affiné à partir de Qwen3-4B-Instruct-2507 pour le renseignement sur les menaces en cybersécurité.
- Meta-SecAlign-8B / Meta-SecAlign-70B - Modèles Llama alignés sur la sécurité, affinés pour résister aux attaques par injection de prompt, en maintenant la hiérarchie des instructions même sous des entrées adversariales
- Lily-Cybersecurity-7B - Modèle de chat 7B ajusté pour la cybersécurité, optimisé pour l'analyse de sécurité, l'explication de vulnérabilités et les tâches de renseignement sur les menaces.
Classificateurs de sûreté et détection d'injection de prompt
- Llama-Guard-4-12B - Le dernier classificateur de sûreté multimodal de Meta pour détecter les contenus nuisibles dans les entrées et sorties des LLM, sur les modalités texte et image.
- Llama-Prompt-Guard-2-86M - Modèle léger de 86M paramètres de Meta pour détecter les tentatives d'injection de prompt et de jailbreak dans les pipelines de LLM en production.
- ShieldGemma-2B - Classificateur de sûreté textuelle de 2B paramètres de Google pour détecter les contenus nuisibles, construit sur l'architecture Gemma.
- DeBERTa Prompt Injection Detector v2 - DeBERTa-v3-base de Protect AI affiné pour la détection d'injection de prompt, largement utilisé dans les pipelines de garde-fous de LLM en production.
- Prompt Injection Sentinel - Modèle ModernBERT-large affiné pour la classification des injections de prompt et des jailbreaks avec un faible taux de faux positifs.
- Nemotron 3.5 Content Safety - Modèle de sûreté de contenu multimodal de 4B paramètres de NVIDIA, unifiant les garde-fous d'entrée texte+image, le support multilingue (plus de 35 langues), l'application personnalisable des politiques d'entreprise et un raisonnement auditable en un seul appel d'inférence. Successeur de Nemotron 3 Content Safety.
- BrowseSafe - Modèle de sécurité spécialisé pour détecter les attaques par injection de prompt dans les agents navigateurs IA. Atteint un score F1 de 90,4 % sur BrowseSafe-Bench, optimisé pour la classification asynchrone en temps réel du contenu HTML brut.
Modèles de langage de sécurité adaptés au domaine
- ATTACK-BERT - Modèle sentence-transformer pour associer le texte de sécurité aux techniques MITRE ATT&CK.
- CySecBERT - Modèle BERT adapté aux tâches de cybersécurité et de CTI grâce à un pré-entraînement spécifique au domaine.
Jeux de données
- SafetyPrompts - Collection organisée de prompts liés à la sûreté pour évaluer les propriétés de sûreté et de sécurité des LLM.
- Do-Not-Answer - Jeu de données de prompts auxquels des LLM responsables ne devraient pas répondre, pour l'évaluation de la sûreté et le red teaming.
- JailBreakV-28K - Jeu de données à grande échelle de 28 000 prompts de jailbreak pour l'évaluation comparative de la sûreté des LLM.
- CL4R1T4S - Prompts système divulgués de ChatGPT, Claude, Gemini, Grok, Perplexity, Cursor, Lovable, Replit et d'autres outils IA majeurs. La plus grande collection connue de prompts système de production pour la transparence et la recherche sur la surface d'attaque.
- LEAKHUB - Classement des fuites de prompts système — plateforme communautaire pour suivre et classer les fuites de prompts système à travers les produits IA.
- Leaked System Prompts - Collection de prompts système divulgués provenant d'outils IA commerciaux — utile pour comprendre l'ingénierie de prompts du monde réel et les surfaces d'attaque.
ottosulin/awesome-ai-security
