Awesome AI Security

Uma lista curada de frameworks, padrões, recursos de aprendizagem e ferramentas de código aberto relacionados com segurança de IA.

Se quiser contribuir, crie um PR ou contacte-me @ottosulin.

Índice

• Recursos de Aprendizagem
  • Leituras e Guias
  • Cursos, Laboratórios e CTFs
  • Podcasts
• Governança e Gestão de Risco
  • Frameworks
  • Padrões e Verificação
  • Taxonomias, Terminologia e Bases de Dados de Risco
  • Checklists e Orientação Prática
• Técnicas de Ataque e Red Teaming
  • ML Adversarial e Modelos Clássicos
  • Red Teaming de LLM e GenAI
  • Ferramentas de Ataque a IA Agêntica e MCP
  • Segurança Ofensiva Assistida por IA
  • Esteganografia e Canais Encobertos
• Benchmarks e Avaliações
• Defesa e Controlos de Segurança
  • Guardrails de Entrada/Saída
  • Segurança e Sandboxing de Runtime de Agentes
  • Segurança de MCP
  • Análise de Modelos e Artefactos
  • Segurança Defensiva Assistida por IA
  • Privacidade e Computação Confidencial
  • Segurança de Dados e da Cadeia de Fornecimento
• Competências de Segurança de IA Agêntica
• Modelos de IA Focados em Segurança

Recursos de Aprendizagem

Leituras e Guias

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - NIST Trustworthy & Responsible AI Resource Center
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - Guia de referência que mapeia ameaças de GenAI para os controlos defensivos correspondentes.
• NCSC Guidelines for Secure AI System Development - Diretrizes práticas coautoradas pelo NCSC (Reino Unido) e pela CISA para o desenvolvimento seguro de IA, abrangendo conceção, desenvolvimento, implementação e operação.
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - Workstream da Coalition for Secure AI que prepara os defensores para as ameaças da era da IA.

Cursos, Laboratórios e CTFs

• Damn Vulnerable MCP Server - Uma implementação deliberadamente vulnerável do Model Context Protocol (MCP) para fins educativos.
• otto-support - Uma implementação vulnerável de servidor MCP usando mcp-go com autenticação em camadas (4 funções), 19 ferramentas e contentor sandboxed integrado com Claude Code para praticar escalada de privilégios e uso indevido de ferramentas.
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - Uma coleção de servidores deliberadamente vulneráveis para aprender Pentesting de Servidores MCP.
• FinBot Agentic AI Capture The Flag (CTF) Application - O FinBot é uma plataforma interativa de Capture The Flag (CTF) de Segurança Agêntica que simula vulnerabilidades do mundo real em sistemas de IA agêntica usando uma aplicação simulada focada em Serviços Financeiros.
• AI-Red-Teaming-Playground-Labs - Laboratórios práticos de AI Red Teaming para realizar formações de AI Red Teaming, incluindo infraestrutura.
• Damn Vulnerable LLM Agent - Agente LLM intencionalmente vulnerável para aprender sobre prompt injection, uso indevido de ferramentas e segurança de agentes
• • LLMVault - Um laboratório de segurança de LLM de código aberto no estilo CTF para aprender o OWASP LLM Top 10 através de exercícios vulneráveis práticos que abrangem prompt injection, ataques a RAG, fuga de system prompt, uso indevido de ferramentas e segurança de agentes.

Podcasts

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - Podcasts semanais da Black Hills Information Security que exploram como a IA transforma a cibersegurança — cobrindo ameaças emergentes, ferramentas e tendências com conhecimento prático e acionável.
• GenAI Security podcast

Governança e Gestão de Risco