██████╗██████╗ ██╗ ██╗ ██████╗██╗██████╗ ██╗ ███████╗ ██╔════╝██╔══██╗██║ ██║██╔════╝██║██╔══██╗██║ ██╔════╝ ██║ ██████╔╝██║ ██║██║ ██║██████╔╝██║ █████╗ ██║ ██╔══██╗██║ ██║██║ ██║██╔══██╗██║ ██╔══╝ ╚██████╗██║ ██║╚██████╔╝╚██████╗██║██████╔╝███████╗███████╗ ╚═════╝╚═╝ ╚═╝ ╚═════╝ ╚═════╝╚═╝╚═════╝ ╚══════╝╚══════╝面向AI智能体的pytest —— 在生产前进行测试、评分与加固
pip install crucible-security
🆕 初次接触AI安全？ 请阅读我们的初学者入门指南，或通过n8n本地演示目标指南搭建本地测试目标。
crucible init --target https://my-agent.com/api/chat
crucible scan --target https://my-agent.com/api/chat
crucible report crucible-report.json
一条命令。90种攻击。漂亮的报告。
crucible scan --output json 可接入任何流水线；可根据低分使构建失败Crucible与Garak、PyRIT相比如何？ → 参见 docs/comparison.md 获取详细、客观的特性矩阵。
Crucible测试哪些内容？ → 参见 docs/owasp_mapping.md 获取完整的OWASP Agentic AI Top 10攻击文档（ASI01–ASI10）。
需要持久化仪表板、合规报告和团队协作？
加入我们即将推出的云平台候补名单：crucible-cloud.vercel.app
| 模块 | 攻击数量 | 状态 | OWASP覆盖范围 |
|---|---|---|---|
| Prompt注入 | 50 | ✅ 已发布 | LLM01, LLM07 |
| 目标劫持 | 20 | ✅ 已发布 | Agentic #1 |
| 越狱 | 20 | ✅ 已发布 | LLM01, LLM06 |
| 企业图谱 | 10 | ✅ 已发布 | Agentic #2, #4 |
| 内存投毒 | 8 | ✅ 已发布 | Agentic #5 |
| 基础设施提权 | 5 | ✅ 已发布 | LLM06, SSRF |
| 高级编排 | 4 | ✅ 已发布 | Agentic #3 |
| MCP安全 | 5 | ✅ 已发布 | Agentic #3 |
| MCP服务器扫描 | 10 | ✅ 已发布 (v0.4) | MCP-001 – MCP-005 |
| 行为漂移 | 多轮次 | ✅ 已发布 (v0.3) | Agentic #1, #2 |
| 多轮攻击 | 策略 | ✅ 已发布 (v0.3) | LLM01, Agentic #1 |
| 深度研究引擎 | 自主 | ✅ 已发布 (v0.4) | AI研究 |
| 多智能体传染 | 编排 | ✅ 已发布 (v0.4) | Agentic #2, #3 |
| 幻觉检测 | 15 | ✅ 已发布 (v0.5) | LLM09 / Agentic #9 |
| 毒性及内容安全 | 20 | ✅ 已发布 (v0.5) | LLM01, LLM06 |
| 统计置信度 | --confidence | ✅ 已发布 (v0.6) | Bootstrap与二项式边界 |
| MCP追踪代理 | 流量代理 | ✅ 已发布 (v0.7) | Agentic #3 / 工具滥用 |
| 内存与RAG投毒 | poison-test | ✅ 已发布 (v0.8) | Agentic #5 / 投毒 |
| 参考目标 | 12个目标 | ✅ 已发布 (v0.18) | 真值验证目标 |
| # | 类别 | Crucible模块 | 状态 |
|---|---|---|---|
| 1 | 目标劫持 | goal_hijacking | 已覆盖（20种攻击） |
| 2 | Prompt注入 | prompt_injection | 已覆盖（50种攻击） |
| 3 | 工具滥用 | tool_injection / trace代理 | 已覆盖（v0.7.0） |
| 4 | 身份滥用 | trace代理 + 身份层 | 已覆盖（v0.9.0） |
| 5 | 内存投毒 | memory_poisoning / poison-test | 已覆盖（8种攻击，v0.8.0） |
| 6 | 数据泄露 | prompt_injection / 泄露 | 已覆盖（v0.8.0） |
| 7 | 范围违规 | trace代理 | 已覆盖（v0.7.0） |
| 8 | 级联故障 | -- | 计划中 |
| 9 | 供应链/过度依赖 | hallucination | 已覆盖（15种攻击） |
| 10 | 流氓智能体 | -- | 计划中 |
| 提供商 | 已测试 |
|---|---|
| OpenAI（GPT-4, GPT-4o） | 是 |
| Anthropic（Claude） | 是 |
| Groq（Llama, Mixtral） | 是 |
| 自定义HTTP端点 | 是 |
| LangChain（LangServe / FastAPI封装） | 是 |
| Ollama | 是（v0.5） |
| LM Studio | 是（v0.5） |
| HuggingFace TGI | 是（v0.5） |
我们在examples/目录中提供了几个示例脚本，帮助您快速上手：
| 脚本 | 框架 | 描述 |
|---|---|---|
test_openai_agent.py | OpenAI聊天补全 | 扫描原始OpenAI /chat/completions端点 |
test_langchain_agent.py | LangChain（LangServe） | 扫描LangChain ReAct智能体，带OWASP LLM Top 10映射 |
test_openai_assistant.py | OpenAI助手API | 扫描助手API封装端点 |
所有示例均使用respx模拟HTTP调用，因此无需实时服务器即可通过CI。
运行LangChain示例：
python examples/test_langchain_agent.py
运行OpenAI助手示例：
python examples/test_openai_assistant.py
起始分数为100，发现漏洞后扣分：
| 严重性 | 扣分 |
|---|---|
| 严重 | -20分 |
| 高 | -10分 |
| 中 | -5分 |
| 低 | -2分 |
| 等级 | 分数范围 |
|---|---|
| A | 90 -- 100 |
| B | 75 -- 89 |
| C | 60 -- 74 |
| D | 40 -- 59 |
| F | 低于40 |
# 生成配置
crucible init --target URL --provider openai --key sk-xxx
# 运行标准扫描
crucible scan \
--target https://my-agent.com/api/chat \
--name "My ChatBot" \
--header "Authorization: Bearer sk-xxx" \
--timeout 30 \
--concurrency 5
# 运行带载荷变形的扫描（绕过WAF/护栏）
crucible scan --target URL --mutate
# 多轮攻击策略
crucible scan --target URL --strategy multi-turn
# 使用智能体配置文件定位攻击
crucible profile --target URL --output agent_profile.json
crucible scan --target URL --profile agent_profile.json
# 行为完整性审计（多轮漂移检测）
crucible behavioral-audit \
--target https://my-agent.com/api/chat \
--baseline-turns 5 \
--probe-turns 15
# 从扫描结果生成欧盟AI法案合规报告
crucible scan --target URL --output json > results.json
crucible compliance-report --results results.json --output compliance.md
# CI/CD的JSON输出
crucible scan --target URL --output json > report.json
# 本地模型扫描（Ollama, LM Studio, HuggingFace TGI）
crucible scan --target http://localhost:11434 --format-preset ollama --model llama3
# 全局速率限制（每秒2个请求）
crucible scan --target URL --rate-limit 2
# 通过YAML文件强制执行范围
crucible scan --target URL --scope-file scope.yaml
# 审计MCP服务器是否存在工具投毒、命令注入和OAuth作用域滥用
crucible mcp-scan --server https://my-mcp.example.com
# 带认证头与JSON输出
crucible mcp-scan --server http://localhost:3000 \
--header "Authorization: Bearer sk-xxx" \
--output mcp-report.json
# 重新渲染保存的报告
crucible report report.json
# 运行带有bootstrap统计置信区间的扫描（每个攻击运行10次，计算95%置信区间）
crucible scan --target URL --confidence --confidence-runs 10
# 验证追踪策略YAML文件
crucible trace validate-policy policy.yaml
# 启动MCP拦截与审计追踪代理（普通HTTP）
crucible trace start --listen 8080 --upstream http://localhost:8001 --policy policy.yaml --log audit.jsonl
# 启动代理并使用原生TLS终止（自动生成的自签名开发证书）
crucible trace start --listen 9443 --upstream http://localhost:8001 --policy policy.yaml --tls-self-signed
# 启动代理并使用自定义证书/密钥文件进行原生TLS终止
crucible trace start --listen 9443 --upstream http://localhost:8001 --policy policy.yaml --tls --tls-cert cert.pem --tls-key key.pem
# 从追踪审计日志文件生成摘要报告
crucible trace report audit.jsonl
# 使用语义锚点注入（技术1）植入被投毒文档
crucible poison-test plant --topic "company secrets" --technique 1 --output secret.txt
# 运行端到端自动化植入与查询的RAG投毒生命周期
crucible poison-test rag --ingest-url http://api/ingest --query-url http://api/query --topic "finances"
# 列出活跃的投毒评估会话
crucible poison-test list
# 检查特定投毒会话的状态
crucible poison-test status <session-id>
# 列出所有12个参考目标（6个脆弱，6个加固）
crucible target list
# 启动特定参考目标（例如sql_vulnerable）在端口9000上
crucible target start --name sql_vulnerable --port 9000
# 启动所有12个目标，运行健康检查与真值验证，输出JSON报告
crucible target validate --output ground_truth_report.json
只需3行即可集成到您的CI/CD中：