一份关于 AI 系统对抗性测试与安全评估的全面指南,帮助组织在攻击者利用漏洞之前识别这些漏洞。
其他语言: English · Español · 中文 · Français
🌐 本文档译自英文版 README.md(权威来源),同步至 v1.2.0(2026 年 10 月)。如有出入,以英文版为准。
一份关于 AI 系统对抗性测试与安全评估的综合指南,帮助组织在攻击者利用漏洞之前发现它们。
上述标志代表有从业者个人参考本指南的组织;列入并不意味着官方背书。
🌐 加入全球红队网络
通过 Cogensec 与全球 AI 红队成员建立联系、分享发现,并在对抗性测试方面开展协作。 → 加入网络
随着人工智能系统日益深入地融入关键业务运营、医疗、金融和决策流程,确保其安全性与可靠性从未像今天这样重要。AI 红队测试已成为一项基础性安全实践,帮助组织在漏洞被真实场景利用之前发现它们。
本综合指南面向以下读者:
AI 红队测试(AI Red Teaming) 是一种结构化、主动式的安全实践:由专家团队模拟针对 AI 系统的对抗性攻击,以发现漏洞并提升系统的安全性与韧性。与聚焦已知攻击向量的传统安全测试不同,AI 红队测试强调创造性、开放式的探索,以发现新颖的失效模式和风险。
AI 红队测试将军事和网络安全领域的红队概念,适配到 AI 系统所带来的独特挑战上:
| 传统网络安全 | AI 红队测试 |
|---|---|
| 针对已知漏洞进行测试 | 发现新颖的、涌现性的风险 |
| 二元的通过/失败结果 | 概率性行为与边缘情况 |
| 静态攻击面 | 动态的、依赖上下文的漏洞 |
| 代码级漏洞利用 | 通过提示词发起的自然语言攻击 |
| 确定性系统 | 非确定性的 AI 行为 |
近期的安全事件表明,AI 系统面临着传统网络安全无法应对的独特挑战: