Awesome AI Security

Кураторский список полезных фреймворков, стандартов, обучающих ресурсов и инструментов с открытым исходным кодом, связанных с безопасностью ИИ.

Если вы хотите внести свой вклад, создайте PR или свяжитесь со мной @ottosulin.

Содержание

• Обучающие ресурсы
  • Чтение и руководства
  • Курсы, лаборатории и CTF
  • Подкасты
• Управление и управление рисками
  • Фреймворки
  • Стандарты и верификация
  • Таксономии, терминология и базы данных рисков
  • Чек-листы и практические рекомендации
• Техники атак и Red Teaming
  • Adversarial ML и классические модели
  • Red Teaming LLM и GenAI
  • Инструменты атак на агентный ИИ и MCP
  • Наступательная безопасность с помощью ИИ
  • Стеганография и скрытые каналы
• Бенчмарки и оценки
• Защита и средства контроля безопасности
  • Ограничители ввода/вывода
  • Безопасность среды выполнения агентов и песочницы
  • Безопасность MCP
  • Сканирование моделей и артефактов
  • Защитная безопасность с помощью ИИ
  • Конфиденциальность и конфиденциальные вычисления
  • Безопасность данных и цепочки поставок
• Навыки безопасности агентного ИИ
• ИИ-модели, ориентированные на безопасность

Обучающие ресурсы

Чтение и руководства

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - NIST Trustworthy & Responsible AI Resource Center
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - Справочное руководство, сопоставляющее угрозы GenAI с соответствующими защитными мерами.
• NCSC Guidelines for Secure AI System Development - Практические рекомендации, подготовленные совместно NCSC (Великобритания) и CISA для безопасной разработки ИИ, охватывающие проектирование, разработку, развёртывание и эксплуатацию.
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - Рабочая группа Coalition for Secure AI, готовящая защитников к угрозам эпохи ИИ.

Курсы, лаборатории и CTF

• Damn Vulnerable MCP Server - Намеренно уязвимая реализация Model Context Protocol (MCP) в образовательных целях.
• otto-support - Уязвимая реализация MCP-сервера на базе mcp-go с многоуровневой аутентификацией (4 роли), 19 инструментами и встроенным изолированным контейнером с Claude Code для отработки повышения привилегий и злоупотребления инструментами.
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - Коллекция серверов, намеренно уязвимых, для изучения пентеста MCP-серверов.
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBot — это интерактивная платформа Agentic Security Capture The Flag (CTF), имитирующая реальные уязвимости в агентных системах ИИ на примере симулированного приложения для финансового сектора.
• AI-Red-Teaming-Playground-Labs - Практические лаборатории для проведения тренингов по AI Red Teaming, включая инфраструктуру.
• Damn Vulnerable LLM Agent - Намеренно уязвимый LLM-агент для изучения prompt injection, злоупотребления инструментами и безопасности агентов
• • LLMVault - Открытая CTF-лаборатория по безопасности LLM для изучения OWASP LLM Top 10 через практические уязвимые упражнения, охватывающие prompt injection, атаки на RAG, утечку системного промпта, злоупотребление инструментами и безопасность агентов.

Подкасты

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - Еженедельные подкасты от Black Hills Information Security, исследующие, как ИИ трансформирует кибербезопасность — освещающие новые угрозы, инструменты и тенденции с практическими, применимыми знаниями.
• GenAI Security podcast

Управление и управление рисками