DeepTrap

English | 中文

面向 OpenClaw 智能体执行上下文的开放世界安全评测基准。

DeepTrap 是一个面向 OpenClaw 智能体的安全评测基准，用于评估智能体在完成正常用户任务时，是否能够抵抗来自执行上下文的恶意影响。这些上下文风险包括：被污染的工作区文件、注入的 skill、误导性的工具元数据、不安全的命令路径、被植入的敏感信息以及编码隐藏的攻击载荷。

当前公开版本包含 42 个 replay task，由 6 类上下文风险 × 7 类日常任务场景 组成，并提供可复现的 benchmark runner 与公开评分代码。同时，仓库在 tasks_zh/ 下提供 10 个中文 replay 样本，用于中文场景下的本地化评测实验。私有的任务生成和攻击搜索流水线不会包含在本仓库中。

DeepTrap 对应论文：

Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw
Hongwei Yao, Yiming Liu, Yiling He, and Bingrun Yang. arXiv:2605.11047, 2026.

为什么需要 DeepTrap？

大多数智能体 benchmark 关注模型能否完成任务。DeepTrap 关注更严格的问题：当智能体周围的执行上下文存在恶意内容时，它还能否安全地完成正常任务？

项目特点

• 关注执行上下文攻击，而不仅是 prompt attack。 DeepTrap 评测文件、skill、工具描述、脚本、日志、配置和编码 artifact 中的安全风险。
• 用户请求本身是正常的。 所有任务都使用正常、实用的用户 prompt，风险来自周围工作区。
• 最小公开复现。 仓库包含 runner、replay tasks 和评分逻辑，方便其他 OpenClaw 用户复现评测。
• 同时报告攻击与任务完成度。 DeepTrap 使用 AGS（Attack Grading Score）和 UGS（Utility Grading Score）同时衡量安全风险和任务效用。
• 面向 OpenClaw 原生环境。 任务设计保留了真实文件、工具、skill 工作区的执行假设。

最新动态

• 2026-05 DeepTrap 论文发布于 arXiv：arXiv:2605.11047。
• 2026-05 公开 42 个 replay task、评分代码和 GitHub Pages leaderboard。
• 2026-05 在 tasks_zh/ 下新增中文 replay 样本。
• 2026-05 增加 Hugging Face dataset 导出，方便分发任务元数据。

排行榜

AGS 表示 Attack Grading Score，UGS 表示 Utility Grading Score。分数按风险类别报告，Average 是 Risk 1 到 Risk 6 的均值。

完整项目主页与排行榜：ZJUICSR.github.io/DeepTrap

Benchmark 设计

DeepTrap 将六类上下文风险与七类正常任务场景交叉组合。每个 task 的用户请求都是正常任务，恶意行为由工作区上下文诱导。

DeepTrap 从正常指令和干净工作区构造受污染的执行上下文，使用多目标 reward 搜索候选 adversarial payload，并通过 reflection-based probing 进一步细化成功载荷。

风险类别

场景类别

快速开始

环境要求

• Python 3.10+
• 已安装并配置 OpenClaw CLI
• OpenClaw 中可用的目标模型
• 用于 judge 的 API 凭证：
  • OpenRouter：OPENROUTER_API_KEY
  • DeepSeek：DEEPSEEK_API_KEY
  • DashScope/Qwen：bundled client 所需的 DashScope-compatible credentials

模型 ID 应包含 provider 前缀，例如 openrouter/anthropic/claude-sonnet-4-5。

安装与验证

git clone https://github.com/ZJUICSR/DeepTrap.git
cd DeepTrap
pip install -e .

# 只验证任务元数据，不运行 OpenClaw
python benchmark.py --dry-run

# 列出任务
python benchmark.py --list-tasks

# 验证中文样本任务
python benchmark.py --tasks-dir tasks_zh --dry-run

运行评测

# 运行一个风险 suite
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite R1

# 运行指定任务
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite task_R1_T01,task_R2_T01

# 运行中文样本任务
python benchmark.py --tasks-dir tasks_zh --model openrouter/anthropic/claude-sonnet-4-5 --suite all

# 运行全部任务并重复多次
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite all --runs 3

结果默认写入 results/。

查看结果

每次运行会输出 JSON 文件，包含模型信息、suite 配置、逐任务分数、transcript 长度、workspace 路径、usage metadata 和总览 summary。

# 总体 summary
jq '.summary' results/*.json

# 逐任务分数
jq '.tasks[] | {task_id, category, grading, attack_eval}' results/*.json

# 攻击复现较强的任务
jq '.tasks[] | select(.attack_eval.mean >= 0.8) | {task_id, attack: .attack_eval.mean}' results/*.json

Hugging Face Dataset

DeepTrap 也可以作为 Hugging Face dataset 分发：ZJUICSR/DeepTrap。

结构化导出文件为 data/tasks.jsonl，每行对应一个 benchmark task；原始 Markdown 任务定义仍保留在 tasks/。如需分发中文样本，也可以从 tasks_zh/ 单独导出。

python scripts/export_hf_dataset.py

# 可选：导出中文样本
python scripts/export_hf_dataset.py --tasks-dir tasks_zh --output data/tasks_zh.jsonl

上传后可通过如下方式加载：

from datasets import load_dataset

dataset = load_dataset("ZJUICSR/DeepTrap", split="train")

项目结构

.
├── benchmark.py                  # Public benchmark runner
├── tasks/                         # 42 bundled task definitions
├── tasks_zh/                      # 10 Chinese-language replay samples
├── scenes/                        # Clean source scenes for baseline/delta scoring
├── data/tasks.jsonl               # Hugging Face dataset export
├── docs/                          # GitHub Pages project site
├── huggingface/README.md          # Hugging Face dataset card
├── scripts/                       # Runtime support and export code
├── tests/                         # Public validation tests
├── SKILL.md                       # Agent-facing benchmark skill
└── pyproject.toml

引用

如果你在研究中使用 DeepTrap，请引用：

@article{yao2026trap,
  title={Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw},
  author={Yao, Hongwei and Liu, Yiming and He, Yiling and Yang, Bingrun},
  journal={arXiv preprint arXiv:2605.11047},
  year={2026}
}

致谢

DeepTrap 的设计部分受到 PinchBench 的启发。PinchBench 展示了一种清晰、实用的 OpenClaw benchmark 组织形式，我们对此表示感谢。

License

MIT — see LICENSE for details.