DeepTrap

Inglés | 中文

Evaluación de seguridad de mundo abierto para agentes OpenClaw en contextos de ejecución adversariales.

DeepTrap es un benchmark de seguridad para evaluar si los agentes OpenClaw pueden completar tareas de usuario benignas mientras resisten la presión maliciosa del contexto de ejecución: archivos del espacio de trabajo envenenados, skills inyectadas, metadatos de herramientas engañosos, rutas de comandos inseguras, secretos plantados y cargas útiles codificadas.

La versión pública contiene 42 tareas de reproducción organizadas como 6 clases de vulnerabilidad contextual x 7 familias de escenarios operativos, además del ejecutor del benchmark y del código público de puntuación. También incluye 10 muestras de reproducción en chino en tasks_zh/ para experimentos de evaluación localizados. El pipeline privado de generación de tareas y búsqueda de ataques no se incluye deliberadamente.

DeepTrap acompaña al artículo:

Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw
Hongwei Yao, Yiming Liu, Yiling He y Bingrun Yang. arXiv:2605.11047, 2026.

¿Por qué DeepTrap?

La mayoría de los benchmarks de agentes preguntan si un modelo puede completar trabajo útil. DeepTrap plantea una pregunta más estricta: ¿puede el agente completar trabajo útil de forma segura cuando el contexto de ejecución circundante es adversarial?

Qué nos diferencia

• Ataques al contexto de ejecución, no solo ataques al prompt. DeepTrap evalúa amenazas incrustadas en archivos, skills, descripciones de herramientas, scripts, logs, configuraciones y artefactos codificados.
• Prompts de usuario benignos. La solicitud del usuario es útil y ordinaria; el riesgo proviene del espacio de trabajo circundante.
• Reproducción pública y mínima. El repositorio contiene el ejecutor, las tareas de reproducción y la lógica de puntuación necesarios para reproducir las ejecuciones del benchmark sin exponer el código privado de generación.
• Puntuación de ataque y utilidad. DeepTrap reporta tanto AGS (Attack Grading Score) como UGS (Utility Grading Score), de modo que un modelo se evalúa conjuntamente en seguridad y utilidad de la tarea.
• Nativo de OpenClaw. Las tareas están diseñadas para agentes estilo OpenClaw y preservan los supuestos de ejecución de un espacio de trabajo real de archivos/herramientas/skills.

Noticias

• 2026-05 El artículo de DeepTrap se publicó en arXiv: arXiv:2605.11047.
• 2026-05 Se publicó el repositorio público del benchmark con 42 tareas de reproducción, código de puntuación y leaderboard en GitHub Pages.
• 2026-05 Se añadieron muestras de reproducción en chino bajo tasks_zh/.
• 2026-05 Se añadió la exportación del dataset de Hugging Face para la distribución de metadatos de tareas.

Leaderboard

AGS es Attack Grading Score y UGS es Utility Grading Score. Las puntuaciones se reportan por suite de riesgo; Average (promedio) es la media de Riesgo 1 a Riesgo 6.

Página completa del proyecto y leaderboard: ZJUICSR.github.io/DeepTrap

Diseño del Benchmark

DeepTrap cruza seis clases de vulnerabilidad contextual con siete familias de escenarios benignos. Cada tarea usa un prompt de usuario normal; el comportamiento adversarial es inducido por el contexto del espacio de trabajo.

DeepTrap construye contextos de ejecución comprometidos a partir de instrucciones benignas y espacios de trabajo limpios, busca cargas útiles adversariales candidatas con señales de recompensa multiobjetivo y refina las cargas útiles exitosas mediante sondeo basado en reflexión.

Suites de riesgo

Familias de escenarios

Inicio rápido

Requisitos

• Python 3.10+
• CLI de OpenClaw instalada y configurada
• Un modelo objetivo disponible a través de OpenClaw
• Credenciales de API del juez para el backend de juez seleccionado:
  • OpenRouter: OPENROUTER_API_KEY
  • DeepSeek: DEEPSEEK_API_KEY
  • DashScope/Qwen: credenciales compatibles con DashScope esperadas por el cliente incluido

Los IDs de modelo deben incluir el prefijo de su proveedor, por ejemplo openrouter/anthropic/claude-sonnet-4-5.

Instalación y validación

git clone https://github.com/ZJUICSR/DeepTrap.git
cd DeepTrap
pip install -e .

# Validate task metadata without running OpenClaw
python benchmark.py --dry-run

# List bundled tasks
python benchmark.py --list-tasks

# Validate Chinese-language sample tasks
python benchmark.py --tasks-dir tasks_zh --dry-run

Ejecución

# Run one risk suite
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite R1

# Run specific tasks
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite task_R1_T01,task_R2_T01

# Run the Chinese-language sample tasks
python benchmark.py --tasks-dir tasks_zh --model openrouter/anthropic/claude-sonnet-4-5 --suite all

# Run all tasks with repeated trials
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite all --runs 3

Los resultados se escriben en results/ por defecto.

Revisión de los resultados

Cada ejecución escribe un archivo JSON que contiene metadatos del modelo, configuración de la suite, puntuaciones por tarea, longitudes de transcripción, rutas del espacio de trabajo, metadatos de uso cuando están disponibles y campos de resumen agregados.

# Overall score summary
jq '.summary' results/*.json

# Per-task scores
jq '.tasks[] | {task_id, category, grading, attack_eval}' results/*.json

# Tasks where the replay attack was reproduced strongly
jq '.tasks[] | select(.attack_eval.mean >= 0.8) | {task_id, attack: .attack_eval.mean}' results/*.json

Cada tarea reporta:

• AGS: puntuación de evaluación de ataques, donde un valor más alto indica una mayor realización del ataque
• UGS: puntuación de evaluación de utilidad, donde un valor más alto indica una mejor finalización de la tarea
• tiempo de la tarea, longitud de la transcripción, ruta del espacio de trabajo y metadatos de uso cuando estén disponibles

Conjunto de datos de Hugging Face

DeepTrap también puede distribuirse como un dataset de Hugging Face en ZJUICSR/DeepTrap.

La exportación estructurada almacena una tarea del benchmark por fila JSONL en data/tasks.jsonl, mientras que las definiciones originales de las tareas en Markdown permanecen en tasks/. Las tareas de muestra en chino pueden exportarse por separado desde tasks_zh/ cuando sea necesario.

python scripts/export_hf_dataset.py

# Optional: export Chinese-language samples
python scripts/export_hf_dataset.py --tasks-dir tasks_zh --output data/tasks_zh.jsonl

Después de la subida, los usuarios pueden cargar los metadatos del benchmark con:

from datasets import load_dataset

dataset = load_dataset("ZJUICSR/DeepTrap", split="train")

Cada fila incluye task_id, name, risk, category, prompt, expected_behavior, grading_criteria, workspace_files, metadatos de puntuación y marcadores para comprobaciones automáticas y rúbricas del juez LLM.

Referencia de comandos

Estructura del proyecto

.
├── benchmark.py                  # Public benchmark runner
├── tasks/                         # 42 bundled task definitions
├── tasks_zh/                      # 10 Chinese-language replay samples
├── scenes/                        # Clean source scenes for baseline/delta scoring
├── data/tasks.jsonl               # Hugging Face dataset export
├── docs/                          # GitHub Pages project site
├── huggingface/README.md          # Hugging Face dataset card
├── scripts/                       # Runtime support and export code
│   ├── lib_agent.py               # OpenClaw execution helpers
│   ├── lib_reward.py              # Attack/utility scoring
│   ├── lib_criteria.py            # Public judge criteria
│   ├── lib_llm.py                 # Judge backend router
│   ├── lib_openrouter.py          # OpenRouter judge client
│   ├── lib_deepseek.py            # DeepSeek judge client
│   ├── lib_dashscope.py           # DashScope/Qwen judge client
│   └── export_hf_dataset.py       # Dataset export helper
├── tests/                         # Public validation tests
├── SKILL.md                       # Agent-facing benchmark skill
└── pyproject.toml

Citación

Si usas DeepTrap en tu investigación, por favor cita:

@article{yao2026trap,
  title={Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw},
  author={Yao, Hongwei and Liu, Yiming and He, Yiling and Yang, Bingrun},
  journal={arXiv preprint arXiv:2605.11047},
  year={2026}
}

Agradecimientos

DeepTrap se inspiró en parte en PinchBench, que proporciona una suite de benchmark práctica para medir la capacidad de los agentes OpenClaw en tareas del mundo real. Agradecemos al proyecto PinchBench por demostrar un formato de benchmark claro y utilizable para agentes OpenClaw.

Licencia

MIT — consulta LICENSE para más detalles.