Awesome AI Security

Uma lista curada de frameworks, padrões, recursos de aprendizagem e ferramentas de código aberto relacionados com segurança de IA.
Se quiser contribuir, crie um PR ou contacte-me @ottosulin.
Índice
Recursos de Aprendizagem
Leituras e Guias
Cursos, Laboratórios e CTFs
- Memory Poisoning Lab - Laboratório de ensino local em Python para envenenamento de memória, defesa e reparo, usando dados sintéticos e um agente com script.
- Damn Vulnerable MCP Server - Uma implementação deliberadamente vulnerável do Model Context Protocol (MCP) para fins educacionais.
- otto-support - Uma implementação vulnerável de servidor MCP usando mcp-go com autenticação em camadas (4 funções), 19 ferramentas e contêiner sandbox integrado com Claude Code para praticar escalonamento de privilégios e uso indevido de ferramentas.
- OWASP WrongSecrets LLM exercise
- vulnerable-mcp-servers-lab - Uma coleção de servidores deliberadamente vulneráveis para aprender Pentesting de Servidores MCP.
- FinBot Agentic AI Capture The Flag (CTF) Application - FinBot é uma plataforma interativa de Capture The Flag (CTF) de Segurança Agêntica que simula vulnerabilidades do mundo real em sistemas de IA agêntica usando uma aplicação simulada focada em Serviços Financeiros.
- AI-Red-Teaming-Playground-Labs - Laboratórios de playground de Red Teaming de IA para realizar treinamentos de Red Teaming de IA, incluindo infraestrutura.
- Damn Vulnerable LLM Agent - Agente LLM intencionalmente vulnerável para aprender sobre injeção de prompt, uso indevido de ferramentas e segurança de agentes
-
- LLMVault - Um laboratório de segurança de LLM no estilo CTF de código aberto para aprender o OWASP LLM Top 10 por meio de exercícios vulneráveis práticos que cobrem injeção de prompt, ataques de RAG, vazamento de prompt de sistema, uso indevido de ferramentas e segurança de agentes.
- AIGoat - Playground de segurança de IA de código aberto para red teaming de LLM: 17 laboratórios de ataque cobrindo todo o OWASP LLM Top 10, 9 desafios CTF e 3 níveis progressivos de defesa, executados localmente com Ollama.
- Pwned Labs indirect prompt injection lab - Laboratório prático gratuito: instruções plantadas em conteúdo recuperado levam um assistente de IA além de sua fronteira de confiança até credenciais de armazenamento e implantação do Azure. Um laboratório de injeção direta cobre o primeiro passo.
Podcasts
Governança e Gestão de Riscos