DeepTrap

English | 中文

Évaluation de la sécurité en monde ouvert pour les agents OpenClaw dans des contextes d'exécution adverses.

DeepTrap est un benchmark de sécurité pour évaluer si les agents OpenClaw peuvent accomplir des tâches utilisateur bénignes tout en résistant à la pression malveillante du contexte d'exécution : fichiers d'espace de travail empoisonnés, compétences injectées, métadonnées d'outil trompeuses, chemins de commandes dangereux, secrets implantés et charges utiles encodées.

La version publique contient 42 tâches de rejeu organisées en 6 classes de vulnérabilité contextuelle × 7 familles de scénarios opérationnels, ainsi que l'exécuteur du benchmark et le code de notation public. Elle inclut également 10 échantillons de rejeu en langue chinoise dans tasks_zh/ pour des expériences d'évaluation localisées. Le pipeline privé de génération de tâches et de recherche d'attaques n'est intentionnellement pas inclus.

DeepTrap accompagne l'article :

Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw
Hongwei Yao, Yiming Liu, Yiling He, and Bingrun Yang. arXiv:2605.11047, 2026.

Pourquoi DeepTrap ?

La plupart des benchmarks d'agents demandent si un modèle peut effectuer un travail utile. DeepTrap pose une question plus stricte : l'agent peut-il effectuer un travail utile en toute sécurité lorsque le contexte d'exécution environnant est adverse ?

Ce qui nous distingue

• Attaques sur le contexte d'exécution, pas seulement sur l'invite. DeepTrap évalue les menaces intégrées dans les fichiers, compétences, descriptions d'outils, scripts, journaux, configurations et artefacts encodés.
• Invites utilisateur bénignes. La demande utilisateur est utile et ordinaire ; le risque provient de l'espace de travail environnant.
• Reproduction publique minimale. Le dépôt contient l'exécuteur, les tâches de rejeu et la logique de notation nécessaires pour reproduire les exécutions du benchmark sans exposer le code privé de génération.
• Notation d'attaque et d'utilité. DeepTrap rapporte à la fois AGS (Attack Grading Score) et UGS (Utility Grading Score), évaluant ensemble la sécurité et l'utilité de la tâche.
• Natif OpenClaw. Les tâches sont conçues pour les agents de style OpenClaw et préservent les hypothèses d'exécution d'un espace de travail réel fichier/outil/compétence.

Actualités

• 2026-05 Article DeepTrap publié sur arXiv : arXiv:2605.11047.
• 2026-05 Dépôt public du benchmark publié avec 42 tâches de rejeu, code de notation et classement GitHub Pages.
• 2026-05 Échantillons de rejeu en langue chinoise ajoutés sous tasks_zh/.
• 2026-05 Export du jeu de données Hugging Face ajouté pour la distribution des métadonnées des tâches.

Classement

AGS est le Attack Grading Score et UGS est le Utility Grading Score. Les scores sont rapportés par suite de risque ; Moyenne est la moyenne sur les Risques 1 à 6.

Page complète du projet et classement : ZJUICSR.github.io/DeepTrap

Conception du benchmark

DeepTrap croise six classes de vulnérabilité contextuelle avec sept familles de scénarios bénins. Chaque tâche utilise une invite utilisateur normale ; le comportement adverse est induit par le contexte de l'espace de travail.

DeepTrap construit des contextes d'exécution compromis à partir d'instructions bénignes et d'espaces de travail propres, recherche des charges utiles adverses candidates avec des signaux de récompense multi-objectifs, et affine les charges utiles réussies par un sondage basé sur la réflexion.

Suites de risques

Familles de scénarios

Démarrage rapide

Prérequis

• Python 3.10+
• CLI OpenClaw installée et configurée
• Un modèle cible disponible via OpenClaw
• Identifiants API du juge pour le backend de jugement choisi :
  • OpenRouter : OPENROUTER_API_KEY
  • DeepSeek : DEEPSEEK_API_KEY
  • DashScope/Qwen : identifiants compatibles DashScope attendus par le client fourni

Les identifiants de modèle doivent inclure le préfixe du fournisseur, par exemple openrouter/anthropic/claude-sonnet-4-5.

Installation et validation

git clone https://github.com/ZJUICSR/DeepTrap.git
cd DeepTrap
pip install -e .

# Valider les métadonnées des tâches sans exécuter OpenClaw
python benchmark.py --dry-run

# Lister les tâches fournies
python benchmark.py --list-tasks

# Valider les tâches d'exemple en chinois
python benchmark.py --tasks-dir tasks_zh --dry-run

Exécution

# Exécuter une suite de risques
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite R1

# Exécuter des tâches spécifiques
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite task_R1_T01,task_R2_T01

# Exécuter les tâches d'exemple en chinois
python benchmark.py --tasks-dir tasks_zh --model openrouter/anthropic/claude-sonnet-4-5 --suite all

# Exécuter toutes les tâches avec des essais répétés
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite all --runs 3

Les résultats sont écrits dans results/ par défaut.

Vérifier les résultats

Chaque exécution écrit un fichier JSON contenant les métadonnées du modèle, la configuration de la suite, les scores par tâche, les longueurs des transcriptions, les chemins d'espace de travail, les métadonnées d'utilisation lorsqu'elles sont disponibles, et les champs récapitulatifs agrégés.

# Résumé des scores globaux
jq '.summary' results/*.json

# Scores par tâche
jq '.tasks[] | {task_id, category, grading, attack_eval}' results/*.json

# Tâches où l'attaque de rejeu a été fortement reproduite
jq '.tasks[] | select(.attack_eval.mean >= 0.8) | {task_id, attack: .attack_eval.mean}' results/*.json

Chaque tâche rapporte :

• AGS : score de notation d'attaque, plus élevé indique une réalisation d'attaque plus forte
• UGS : score de notation d'utilité, plus élevé indique une meilleure réalisation de la tâche
• chronométrage de la tâche, longueur de la transcription, chemin de l'espace de travail et métadonnées d'utilisation lorsqu'elles sont disponibles

Jeu de données Hugging Face

DeepTrap peut également être distribué comme un jeu de données Hugging Face sur ZJUICSR/DeepTrap.

L'export structuré stocke une tâche de benchmark par ligne JSONL dans data/tasks.jsonl, tandis que les définitions originales des tâches en Markdown restent dans tasks/. Les tâches d'exemple en chinois peuvent être exportées séparément depuis tasks_zh/ si nécessaire.

python scripts/export_hf_dataset.py

# Optionnel : exporter les échantillons en chinois
python scripts/export_hf_dataset.py --tasks-dir tasks_zh --output data/tasks_zh.jsonl

Après téléchargement, les utilisateurs peuvent charger les métadonnées du benchmark avec :

from datasets import load_dataset

dataset = load_dataset("ZJUICSR/DeepTrap", split="train")

Chaque ligne comprend task_id, name, risk, category, prompt, expected_behavior, grading_criteria, workspace_files, les métadonnées de notation, et des indicateurs pour les vérifications automatisées et les rubriques du juge LLM.

Référence des commandes

Structure du projet

.
├── benchmark.py                  # Public benchmark runner
├── tasks/                         # 42 bundled task definitions
├── tasks_zh/                      # 10 Chinese-language replay samples
├── scenes/                        # Clean source scenes for baseline/delta scoring
├── data/tasks.jsonl               # Hugging Face dataset export
├── docs/                          # GitHub Pages project site
├── huggingface/README.md          # Hugging Face dataset card
├── scripts/                       # Runtime support and export code
│   ├── lib_agent.py               # OpenClaw execution helpers
│   ├── lib_reward.py              # Attack/utility scoring
│   ├── lib_criteria.py            # Public judge criteria
│   ├── lib_llm.py                 # Judge backend router
│   ├── lib_openrouter.py          # OpenRouter judge client
│   ├── lib_deepseek.py            # DeepSeek judge client
│   ├── lib_dashscope.py           # DashScope/Qwen judge client
│   └── export_hf_dataset.py       # Dataset export helper
├── tests/                         # Public validation tests
├── SKILL.md                       # Agent-facing benchmark skill
└── pyproject.toml

Citation

Si vous utilisez DeepTrap dans vos recherches, veuillez citer :

@article{yao2026trap,
  title={Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw},
  author={Yao, Hongwei and Liu, Yiming and He, Yiling and Yang, Bingrun},
  journal={arXiv preprint arXiv:2605.11047},
  year={2026}
}

Remerciements

DeepTrap a été en partie inspiré par PinchBench, qui fournit une suite de benchmark pratique pour mesurer la capacité des agents OpenClaw sur des tâches du monde réel. Nous remercions le projet PinchBench d'avoir démontré un format de benchmark clair et utilisable pour les agents OpenClaw.

Licence

MIT — voir LICENSE pour plus de détails.