Awesome AI Security

Una lista curada de frameworks, estándares, recursos de aprendizaje y herramientas de código abierto relacionados con la seguridad de la IA.

Si quieres contribuir, crea un PR o contáctame @ottosulin.

Tabla de Contenidos

• Recursos de Aprendizaje
  • Lecturas y Guías
  • Cursos, Labs y CTFs
  • Podcasts
• Gobernanza y Gestión de Riesgos
  • Frameworks
  • Estándares y Verificación
  • Taxonomías, Terminología y Bases de Datos de Riesgos
  • Listas de Verificación y Guías Prácticas
• Técnicas de Ataque y Red Teaming
  • ML Adversario y Modelos Clásicos
  • Red Teaming de LLM y GenAI
  • Herramientas de Ataque para IA Agéntica y MCP
  • Seguridad Ofensiva Asistida por IA
  • Esteganografía y Canales Encubiertos
• Benchmarks y Evaluaciones
• Defensa y Controles de Seguridad
  • Guardrails de Entrada/Salida
  • Seguridad en Tiempo de Ejecución de Agentes y Sandboxing
  • Seguridad de MCP
  • Escaneo de Modelos y Artefactos
  • Seguridad Defensiva Asistida por IA
  • Privacidad y Computación Confidencial
  • Seguridad de Datos y Cadena de Suministro
• Habilidades de Seguridad para IA Agéntica
• Modelos de IA Enfocados en Seguridad

Recursos de Aprendizaje

Lecturas y Guías

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - Centro de Recursos de IA Confiable y Responsable del NIST
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - Guía de referencia que mapea las amenazas de GenAI con los controles defensivos correspondientes.
• NCSC Guidelines for Secure AI System Development - Guías prácticas coescritas por NCSC (Reino Unido) y CISA para el desarrollo seguro de IA, que abarcan diseño, desarrollo, despliegue y operación.
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - Línea de trabajo de la Coalición para la IA Segura que prepara a los defensores para las amenazas de la era de la IA.

Cursos, Labs y CTFs

• Damn Vulnerable MCP Server - Una implementación deliberadamente vulnerable del Model Context Protocol (MCP) con fines educativos.
• otto-support - Una implementación vulnerable de servidor MCP usando mcp-go con autenticación por niveles (4 roles), 19 herramientas y contenedor sandbox integrado con Claude Code para practicar escalada de privilegios y uso indebido de herramientas.
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - Una colección de servidores deliberadamente vulnerables para aprender Pentesting de Servidores MCP.
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBot es una plataforma interactiva de Capture The Flag (CTF) de Seguridad Agéntica que simula vulnerabilidades del mundo real en sistemas de IA agéntica usando una aplicación simulada enfocada en Servicios Financieros.
• AI-Red-Teaming-Playground-Labs - Labs de playground de Red Teaming de IA para ejecutar entrenamientos de Red Teaming de IA, incluyendo infraestructura.
• Damn Vulnerable LLM Agent - Agente LLM intencionalmente vulnerable para aprender sobre inyección de prompts, uso indebido de herramientas y seguridad de agentes
• • LLMVault - Un laboratorio de seguridad de LLM de estilo CTF de código abierto para aprender el OWASP LLM Top 10 mediante ejercicios prácticos vulnerables que cubren inyección de prompts, ataques RAG, filtración de prompts del sistema, uso indebido de herramientas y seguridad de agentes.

Podcasts

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - Podcasts semanales de Black Hills Information Security que exploran cómo la IA transforma la ciberseguridad, cubriendo amenazas emergentes, herramientas y tendencias con conocimiento práctico y accionable.
• GenAI Security podcast

Gobernanza y Gestión de Riesgos