Awesome AI Security

一份精选的 AI 安全相关框架、标准、学习资源和开源工具列表。

如果你想贡献内容，请创建 PR 或联系我 @ottosulin。

目录

• 学习资源
  • 阅读与指南
  • 课程、实验与 CTF
  • 播客
• 治理与风险管理
  • 框架
  • 标准与验证
  • 分类法、术语与风险数据库
  • 检查清单与实践指南
• 攻击技术与红队
  • 对抗性机器学习与经典模型
  • LLM 与 GenAI 红队
  • 智能体 AI 与 MCP 攻击工具
  • AI 辅助攻击性安全
  • 隐写术与隐蔽信道
• 基准与评估
• 防御与安全控制
  • 输入/输出护栏
  • 智能体运行时安全与沙箱
  • MCP 安全
  • 模型与制品扫描
  • AI 辅助防御性安全
  • 隐私与机密计算
  • 数据与供应链安全
• 智能体 AI 安全技能
• 面向安全的 AI 模型

学习资源

阅读与指南

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - NIST 可信与负责任 AI 资源中心
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - 将 GenAI 威胁映射到相应防御控制的参考指南。
• NCSC Guidelines for Secure AI System Development - 由 NCSC（英国）和 CISA 共同编写的安全 AI 开发实践指南，涵盖设计、开发、部署和运营。
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - 安全 AI 联盟（Coalition for Secure AI）工作流，帮助防御者应对 AI 时代的威胁。

课程、实验与 CTF

• Damn Vulnerable MCP Server - 一个故意存在漏洞的 Model Context Protocol (MCP) 实现，用于教育目的。
• otto-support - 一个使用 mcp-go 构建的易受攻击的 MCP 服务器实现，具有分层认证（4 种角色）、19 个工具，以及内置的 Claude Code 沙箱容器，用于练习权限提升和工具滥用。
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - 一组故意存在漏洞的服务器，用于学习 MCP 服务器渗透测试。
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBot 是一个智能体安全夺旗（CTF）互动平台，通过模拟以金融服务为重点的应用，模拟智能体 AI 系统中的真实世界漏洞。
• AI-Red-Teaming-Playground-Labs - AI 红队演练实验环境，用于开展包含基础设施在内的 AI 红队培训。
• Damn Vulnerable LLM Agent - 故意存在漏洞的 LLM 智能体，用于学习提示注入、工具滥用和智能体安全
• • LLMVault - 一个开源 CTF 风格的 LLM 安全实验环境，通过涵盖提示注入、RAG 攻击、系统提示泄露、工具滥用和智能体安全的动手漏洞练习来学习 OWASP LLM Top 10。

播客

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - 来自 Black Hills Information Security 的每周播客，探讨 AI 如何改变网络安全——涵盖新兴威胁、工具和趋势，并提供实用、可操作的知识。
• GenAI Security podcast

治理与风险管理

框架

• NIST AI Risk Management Framework
• ISO/IEC 42001 Artificial Intelligence Management System
• ISO/IEC 23894:2023 Information technology — Artificial intelligence — Guidance on risk management
• Google Secure AI Framework (SAIF)
• ENISA Multilayer Framework for Good Cybersecurity Practices for AI
• OWASP Artificial Intelligence Maturity Assessment
• CSA AI Model Risk Framework
• CSA Maestro AI Threat Modeling Framework
• CSA AI Controls Matrix - 面向 AI 系统的综合控制矩阵，涵盖治理、风险和合规。
• OWASP Agentic AI Top 10 - 智能体 AI 的 Top 10，作为 OWASP 和 CSA 红队工作的核心。
• OWASP GenAI Crosswalk - 交互式交叉映射，将 OWASP GenAI 风险（LLM Top 10、Agentic Top 10、DSGAI 2026）映射到 25 个行业框架，并提供覆盖评分和差距分析。
• NIST SP 800-218A Secure Software Development Practices for Generative AI and Dual-Use Foundation Models - SSDF（SP 800-218）的扩展，包含针对 GenAI 和两用基础模型开发的具体实践。
• NIST AI 600-1 Generative AI Profile - NIST AI RMF 1.0 的配套配置文件，包含针对生成式 AI 系统的具体风险行动，包括幻觉、数据投毒和隐私等独特风险。

标准与验证

• OWASP AI Security Verification Standard
• OWASP Agent Name Service
• OWASP Agent Observability Standard
• AI Verify - 由新加坡政府支持的 AI 测试框架和工具包，用于依据治理框架验证 AI 系统属性。
• Agent Control Standard - 运行时智能体控制的开放标准：跨 AI 智能体框架的声明式钩子、策略执行和可观测性（OWASP GenAI Security Project）。
• AARM - 云安全联盟规范，定义智能体运行时安全的系统类别和能力。

分类法、术语与风险数据库

• NIST AI 100-2e2023 - 对抗性机器学习分类法和术语
• MITRE ATLAS
  • ATLAS Knowledge Base Agent - 开源 AI 助手，可通过自然语言、MCP 服务器访问和可定制智能体工作流探索 ATLAS 知识库。
• AVIDML
• MIT AI Risk Repository
• AI Incident Database
• ISO/IEC 22989:2022 Information technology — Artificial intelligence — Artificial intelligence concepts and terminology
• NIST AI Glossary
• The Arcanum Prompt Injection Taxonomy - 全面的提示注入攻击分类系统，涵盖攻击意图、技术、规避和输入向量。对提示注入攻击的目标、方法、混淆技术和攻击面进行分类。
• CSA LLM Threats Taxonomy
• OWASP AI Vulnerability Scoring System (AIVSS) - 面向 AI 特定漏洞的评分系统，将 CVSS 概念扩展到 AI 风险维度。