PyRIT
microsoft/pyrit用于对生成式AI系统进行红队测试的开源框架：自动化攻击提示、对模型响应进行评分，并审计行为以识别安全与安全性风险。
vulnerability-analysismachine-learningred-teaming+2
giskard-ai/giskard-oss🐢 用于 LLM 智能体的开源评估与测试库
ottosulin/awesome-ai-security与AI安全相关的精彩资源合集
promptfoo/promptfoo测试你的提示词、代理和RAG。对AI进行红队测试/渗透测试/漏洞扫描。比较GPT、Claude、Gemini、DeepSeek等的性能。简单的声明式配置，支持命令行和CI/CD集成。被OpenAI和Anthropic使用。
microsoft/responsible-ai-toolbox用于负责任AI模型调试的交互式仪表盘和库，涵盖错误分析、公平性、可解释性、反事实分析、因果分析和数据平衡。
dovughs/mora-hwbp基于硬件断点（DR0-DR7）的无补丁用户模式挂钩与遥测插桩引擎（AMSI、WLDP 和 ETW PoC）。
promptfoo/modelauditSecurity scanner for AI/ML model files. Detects malicious code, backdoors, and vulnerabilities before deployment
s3n4t0r-0x0/bear-c2The exploit server for out-of-band findings. Point a target at a domain you own. Every HTTP request and every email it sends back lands in a…
gmh5225/awesome-ai-securityA curated list of AI Security materials and resources for Pentesters, Bug Hunters, and Security Researchers.
goochbeater/spiritual-spell-red-teaming用于越狱各种LLM的仓库，主要是Claude
guillaumemeyer/watermarks-remover一个隐私优先的应用，可从您拥有的内容中去除AI水印。
nvidia/garakModular LLM vulnerability scanner that probes for hallucination, data leakage, prompt injection, jailbreaks, and toxicity using static, dynamic, and…
misp/misp-galaxyClusters and elements to attach to MISP events or attributes (like threat actors)
datadog/stratus-red-team:cloud: :zap: 针对云端的细粒度、可操作对手模拟
meridianlabs-ai/inspect_petri一个能够快速探索对齐假设的对齐审计代理。
mastyf-ai/mastyf.ai开源AI安全平台，通过集群分析、策略执行、对抗性测试和实时威胁检测，为LLM和AI代理提供边界防御。