DeepTrap

Inglês | 中文

Avaliação de segurança em mundo aberto para agentes OpenClaw sob contextos de execução adversariais.

DeepTrap é um benchmark de segurança para avaliar se agentes OpenClaw podem completar tarefas benignas de usuário enquanto resistem a pressões maliciosas do contexto de execução: arquivos de workspace envenenados, habilidades injetadas, metadados de ferramentas enganosos, caminhos de comando inseguros, segredos plantados e payloads codificados.

A versão pública contém 42 tarefas de replay organizadas como 6 classes de vulnerabilidade contextual x 7 famílias de cenário operacional, além do executor do benchmark e do código público de pontuação. Também inclui 10 amostras de replay em chinês em tasks_zh/ para experimentos de avaliação localizados. O pipeline privado de geração de tarefas e busca de ataques não é intencionalmente incluído.

DeepTrap acompanha o artigo:

Red-Teaming de Contextos de Execução de Agentes: Avaliação de Segurança em Mundo Aberto no OpenClaw
Hongwei Yao, Yiming Liu, Yiling He, e Bingrun Yang. arXiv:2605.11047, 2026.

Por que DeepTrap?

A maioria dos benchmarks de agentes pergunta se um modelo pode concluir trabalho útil. DeepTrap faz uma pergunta mais rigorosa: o agente pode concluir trabalho útil de forma segura quando o contexto de execução ao redor é adversarial?

O Que Nos Diferencia

• Ataques ao contexto de execução, não apenas ataques a prompts. DeepTrap avalia ameaças embutidas em arquivos, habilidades, descrições de ferramentas, scripts, logs, configurações e artefatos codificados.
• Prompts de usuário benignos. A solicitação do usuário é útil e comum; o risco vem do workspace ao redor.
• Reprodução pública e mínima. O repositório contém o executor, as tarefas de replay e a lógica de pontuação necessários para reproduzir execuções do benchmark sem expor o código de geração privado.
• Pontuação de ataque e utilidade. DeepTrap relata tanto AGS (Attack Grading Score) quanto UGS (Utility Grading Score), para que um modelo seja avaliado conjuntamente em segurança e utilidade da tarefa.
• Nativo do OpenClaw. As tarefas são construídas para agentes estilo OpenClaw e preservam as suposições de execução de um workspace real de arquivos/ferramentas/habilidades.

Notícias

• 2026-05 Artigo DeepTrap publicado no arXiv: arXiv:2605.11047.
• 2026-05 Repositório público do benchmark lançado com 42 tarefas de replay, código de pontuação e leaderboard no GitHub Pages.
• 2026-05 Amostras de replay em chinês adicionadas em tasks_zh/.
• 2026-05 Exportação do dataset Hugging Face adicionada para distribuição de metadados das tarefas.

Leaderboard

AGS é o Attack Grading Score (Pontuação de Avaliação de Ataque) e UGS é o Utility Grading Score (Pontuação de Avaliação de Utilidade). As pontuações são relatadas por suite de risco; Average (Média) é a média do Risco 1 ao Risco 6.

Página completa do projeto e leaderboard: ZJUICSR.github.io/DeepTrap

Design do Benchmark

DeepTrap cruza seis classes de vulnerabilidade contextual com sete famílias de cenário benigno. Cada tarefa usa um prompt de usuário normal; o comportamento adversarial é induzido pelo contexto do workspace.

DeepTrap constrói contextos de execução comprometidos a partir de instruções benignas e workspaces limpos, busca candidate payloads adversariais com sinais de recompensa multiobjetivo e refina payloads bem-sucedidos através de sondagem baseada em reflexão.

Suites de Risco

Famílias de Cenário

Início Rápido

Requisitos

• Python 3.10+
• CLI OpenClaw instalada e configurada
• Um modelo alvo disponível através do OpenClaw
• Credenciais de API do juiz para o backend de juiz selecionado:
  • OpenRouter: OPENROUTER_API_KEY
  • DeepSeek: DEEPSEEK_API_KEY
  • DashScope/Qwen: credenciais compatíveis com DashScope esperadas pelo cliente incluído

IDs de modelo devem incluir seu prefixo de provedor, por exemplo openrouter/anthropic/claude-sonnet-4-5.

Instalar e Validar

git clone https://github.com/ZJUICSR/DeepTrap.git
cd DeepTrap
pip install -e .

# Validar metadados das tarefas sem executar OpenClaw
python benchmark.py --dry-run

# Listar tarefas incluídas
python benchmark.py --list-tasks

# Validar amostras de tarefas em chinês
python benchmark.py --tasks-dir tasks_zh --dry-run

Executar

# Executar uma suite de risco
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite R1

# Executar tarefas específicas
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite task_R1_T01,task_R2_T01

# Executar as amostras de tarefas em chinês
python benchmark.py --tasks-dir tasks_zh --model openrouter/anthropic/claude-sonnet-4-5 --suite all

# Executar todas as tarefas com execuções repetidas
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite all --runs 3

Resultados são escritos em results/ por padrão.

Verificar os Resultados

Cada execução escreve um arquivo JSON contendo metadados do modelo, configuração da suite, pontuações por tarefa, comprimentos de transcrição, caminhos de workspace, metadados de uso quando disponíveis e campos de resumo agregados.

# Resumo geral das pontuações
jq '.summary' results/*.json

# Pontuações por tarefa
jq '.tasks[] | {task_id, category, grading, attack_eval}' results/*.json

# Tarefas onde o replay de ataque foi reproduzido fortemente
jq '.tasks[] | select(.attack_eval.mean >= 0.8) | {task_id, attack: .attack_eval.mean}' results/*.json

Cada tarefa relata:

• AGS: pontuação de ataque, onde maior indica realização mais forte do ataque
• UGS: pontuação de utilidade, onde maior indica melhor conclusão da tarefa
• tempo da tarefa, comprimento da transcrição, caminho do workspace e metadados de uso quando disponíveis

Dataset Hugging Face

DeepTrap também pode ser distribuído como um dataset Hugging Face em ZJUICSR/DeepTrap.

A exportação estruturada armazena uma tarefa de benchmark por linha JSONL em data/tasks.jsonl, enquanto as definições originais das tarefas em Markdown permanecem em tasks/. Amostras de tarefas em chinês podem ser exportadas separadamente de tasks_zh/ quando necessário.

python scripts/export_hf_dataset.py

# Opcional: exportar amostras em chinês
python scripts/export_hf_dataset.py --tasks-dir tasks_zh --output data/tasks_zh.jsonl

Após o upload, os usuários podem carregar os metadados do benchmark com:

from datasets import load_dataset

dataset = load_dataset("ZJUICSR/DeepTrap", split="train")

Cada linha inclui task_id, name, risk, category, prompt, expected_behavior, grading_criteria, workspace_files, metadados de pontuação e flags para verificações automatizadas e rubricas de juiz LLM.

Referência de Comandos

Estrutura do Projeto

.
├── benchmark.py                  # Executor público do benchmark
├── tasks/                         # 42 definições de tarefas incluídas
├── tasks_zh/                      # 10 amostras de replay em chinês
├── scenes/                        # Cenas fonte limpas para pontuação de linha de base/delta
├── data/tasks.jsonl               # Exportação do dataset Hugging Face
├── docs/                          # Site do projeto GitHub Pages
├── huggingface/README.md          # Cartão do dataset Hugging Face
├── scripts/                       # Suporte de execução e código de exportação
│   ├── lib_agent.py               # Auxiliares de execução OpenClaw
│   ├── lib_reward.py              # Pontuação de ataque/utilidade
│   ├── lib_criteria.py            # Critérios de juiz públicos
│   ├── lib_llm.py                 # Roteador de backend do juiz
│   ├── lib_openrouter.py          # Cliente juiz OpenRouter
│   ├── lib_deepseek.py            # Cliente juiz DeepSeek
│   ├── lib_dashscope.py           # Cliente juiz DashScope/Qwen
│   └── export_hf_dataset.py       # Auxiliar de exportação do dataset
├── tests/                         # Testes de validação públicos
├── SKILL.md                       # Habilidade do benchmark voltada ao agente
└── pyproject.toml

Citação

Se você usar DeepTrap em sua pesquisa, por favor cite:

@article{yao2026trap,
  title={Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw},
  author={Yao, Hongwei and Liu, Yiming and He, Yiling and Yang, Bingrun},
  journal={arXiv preprint arXiv:2605.11047},
  year={2026}
}

Agradecimentos

DeepTrap foi inspirado em parte pelo PinchBench, que fornece uma suite de benchmark prática para medir a capacidade de agentes OpenClaw em tarefas do mundo real. Agradecemos ao projeto PinchBench por demonstrar um formato de benchmark claro e utilizável para agentes OpenClaw.

Licença

MIT — veja LICENSE para detalhes.