DeepTrap

English | 中文

Open-World-Sicherheitsbewertung für OpenClaw-Agenten unter adversariellen Ausführungskontexten.

DeepTrap ist ein Sicherheits-Benchmark zur Bewertung, ob OpenClaw-Agenten harmlose Benutzeraufgaben erfüllen können, während sie gleichzeitig bösartigem Druck durch den Ausführungskontext widerstehen: vergiftete Arbeitsbereichsdateien, injizierte Fähigkeiten, irreführende Tool-Metadaten, unsichere Befehlswege, eingepflanzte Geheimnisse und codierte Nutzlasten.

Die öffentliche Veröffentlichung enthält 42 Wiederholungsaufgaben, angeordnet als 6 kontextuelle Schwachstellenklassen × 7 operationale Szenarienfamilien, sowie den Benchmark-Runner und den öffentlichen Bewertungscode. Sie enthält außerdem 10 chinesischsprachige Wiederholungsbeispiele in tasks_zh/ für lokalisierte Auswertungsexperimente. Die private Aufgabengenerierungs- und Angriffssuch-Pipeline ist absichtlich nicht enthalten.

DeepTrap begleitet das Papier:

Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw
Hongwei Yao, Yiming Liu, Yiling He und Bingrun Yang. arXiv:2605.11047, 2026.

Warum DeepTrap?

Die meisten Agent-Benchmarks fragen, ob ein Modell nützliche Arbeit erledigen kann. DeepTrap stellt eine strengere Frage: Kann der Agent nützliche Arbeit sicher erledigen, wenn der umgebende Ausführungskontext adversariell ist?

Was uns auszeichnet

• Angriffe auf den Ausführungskontext, nicht nur Prompt-Angriffe. DeepTrap bewertet Bedrohungen, die in Dateien, Fähigkeiten, Tool-Beschreibungen, Skripten, Protokollen, Konfigurationen und codierten Artefakten eingebettet sind.
• Harmlose Benutzeraufforderungen. Die Benutzeranfrage ist nützlich und alltäglich; das Risiko kommt aus dem umgebenden Arbeitsbereich.
• Öffentliche, minimale Reproduktion. Das Repository enthält den Runner, die Wiederholungsaufgaben und die Bewertungslogik, die zur Reproduktion von Benchmark-Läufen benötigt werden, ohne privaten Generierungscode preiszugeben.
• Angriffs- und Nutzenbewertung. DeepTrap berichtet sowohl AGS (Angriffsbewertungspunktzahl) als auch UGS (Nutzenbewertungspunktzahl), sodass ein Modell gemeinsam hinsichtlich Sicherheit und Aufgaben-Nützlichkeit bewertet wird.
• OpenClaw-nativ. Die Aufgaben sind für OpenClaw-artige Agenten erstellt und bewahren die Ausführungsannahmen eines echten Datei-/Tool-/Fähigkeiten-Arbeitsbereichs.

Neuigkeiten

• 2026-05 DeepTrap-Papier auf arXiv veröffentlicht: arXiv:2605.11047.
• 2026-05 Öffentliches Benchmark-Repository mit 42 Wiederholungsaufgaben, Bewertungscode und GitHub Pages-Bestenliste veröffentlicht.
• 2026-05 Chinesischsprachige Wiederholungsbeispiele unter tasks_zh/ hinzugefügt.
• 2026-05 Hugging Face-Datensatzexport für die Aufgabenmetadatenverteilung hinzugefügt.

Bestenliste

AGS steht für Angriffsbewertungspunktzahl (Attack Grading Score) und UGS für Nutzenbewertungspunktzahl (Utility Grading Score). Die Punktzahlen werden nach Risikopaket gemeldet; Average ist der Mittelwert über Risiko 1 bis Risiko 6.

Vollständige Projektseite und Bestenliste: ZJUICSR.github.io/DeepTrap

Benchmark-Design

DeepTrap kreuzt sechs kontextuelle Schwachstellenklassen mit sieben harmlosen Szenarienfamilien. Jede Aufgabe verwendet eine normale Benutzeraufforderung; das adversarielle Verhalten wird durch den Arbeitsbereichskontext induziert.

DeepTrap konstruiert kompromittierte Ausführungskontexte aus harmlosen Anweisungen und sauberen Arbeitsbereichen, sucht nach vielversprechenden adversariellen Nutzlasten mit multi-objektiven Belohnungssignalen und verfeinert erfolgreiche Nutzlasten durch reflektionsbasiertes Sondieren.

Risikopakete

Szenarienfamilien

Schnellstart

Voraussetzungen

• Python 3.10+
• OpenClaw-CLI installiert und konfiguriert
• Ein Zielmodell, das über OpenClaw verfügbar ist
• Judge-API-Anmeldeinformationen für das ausgewählte Judge-Backend:
  • OpenRouter: OPENROUTER_API_KEY
  • DeepSeek: DEEPSEEK_API_KEY
  • DashScope/Qwen: DashScope-kompatible Anmeldeinformationen, die vom gebündelten Client erwartet werden

Modell-IDs sollten ihren Provider-Präfix enthalten, z. B. openrouter/anthropic/claude-sonnet-4-5.

Installieren und Validieren

git clone https://github.com/ZJUICSR/DeepTrap.git
cd DeepTrap
pip install -e .

# Validate task metadata without running OpenClaw
python benchmark.py --dry-run

# List bundled tasks
python benchmark.py --list-tasks

# Validate Chinese-language sample tasks
python benchmark.py --tasks-dir tasks_zh --dry-run

Ausführen

# Run one risk suite
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite R1

# Run specific tasks
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite task_R1_T01,task_R2_T01

# Run the Chinese-language sample tasks
python benchmark.py --tasks-dir tasks_zh --model openrouter/anthropic/claude-sonnet-4-5 --suite all

# Run all tasks with repeated trials
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite all --runs 3

Ergebnisse werden standardmäßig in results/ geschrieben.

Ergebnisse überprüfen

Jeder Lauf schreibt eine JSON-Datei mit Modellmetadaten, Paketkonfiguration, Aufgabenpunktzahlen, Transkriptlängen, Arbeitsbereichspfaden, Nutzungsmetadaten (sofern verfügbar) und zusammenfassenden Feldern.

# Overall score summary
jq '.summary' results/*.json

# Per-task scores
jq '.tasks[] | {task_id, category, grading, attack_eval}' results/*.json

# Tasks where the replay attack was reproduced strongly
jq '.tasks[] | select(.attack_eval.mean >= 0.8) | {task_id, attack: .attack_eval.mean}' results/*.json

Jede Aufgabe meldet:

• AGS: Angriffsbewertungspunktzahl, wobei höher eine stärkere Angriffsumsetzung bedeutet
• UGS: Nutzenbewertungspunktzahl, wobei höher eine bessere Aufgabenerfüllung bedeutet
• Aufgabenzeit, Transkriptlänge, Arbeitsbereichspfad und Nutzungsmetadaten (sofern verfügbar)

Hugging Face-Datensatz

DeepTrap kann auch als Hugging Face-Datensatz unter ZJUICSR/DeepTrap verteilt werden.

Der strukturierte Export speichert eine Benchmark-Aufgabe pro JSONL-Zeile in data/tasks.jsonl, während die ursprünglichen Markdown-Aufgabendefinitionen in tasks/ bleiben. Chinesischsprachige Beispielaufgaben können bei Bedarf separat aus tasks_zh/ exportiert werden.

python scripts/export_hf_dataset.py

# Optional: export Chinese-language samples
python scripts/export_hf_dataset.py --tasks-dir tasks_zh --output data/tasks_zh.jsonl

Nach dem Hochladen können Benutzer die Benchmark-Metadaten mit folgendem Code laden:

from datasets import load_dataset

dataset = load_dataset("ZJUICSR/DeepTrap", split="train")

Jede Zeile enthält task_id, name, risk, category, prompt, expected_behavior, grading_criteria, workspace_files, Bewertungsmetadaten sowie Flags für automatisierte Prüfungen und LLM-Richter-Rubriken.

Befehlsreferenz

Projektstruktur

.
├── benchmark.py                  # Public benchmark runner
├── tasks/                         # 42 bundled task definitions
├── tasks_zh/                      # 10 Chinese-language replay samples
├── scenes/                        # Clean source scenes for baseline/delta scoring
├── data/tasks.jsonl               # Hugging Face dataset export
├── docs/                          # GitHub Pages project site
├── huggingface/README.md          # Hugging Face dataset card
├── scripts/                       # Runtime support and export code
│   ├── lib_agent.py               # OpenClaw execution helpers
│   ├── lib_reward.py              # Attack/utility scoring
│   ├── lib_criteria.py            # Public judge criteria
│   ├── lib_llm.py                 # Judge backend router
│   ├── lib_openrouter.py          # OpenRouter judge client
│   ├── lib_deepseek.py            # DeepSeek judge client
│   ├── lib_dashscope.py           # DashScope/Qwen judge client
│   └── export_hf_dataset.py       # Dataset export helper
├── tests/                         # Public validation tests
├── SKILL.md                       # Agent-facing benchmark skill
└── pyproject.toml

Zitation

Wenn Sie DeepTrap in Ihrer Forschung verwenden, zitieren Sie bitte:

@article{yao2026trap,
  title={Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw},
  author={Yao, Hongwei and Liu, Yiming and He, Yiling and Yang, Bingrun},
  journal={arXiv preprint arXiv:2605.11047},
  year={2026}
}

Danksagungen

DeepTrap wurde teilweise von PinchBench inspiriert, das eine praktische Benchmark-Suite zur Messung der OpenClaw-Agentenfähigkeit bei realen Aufgaben bereitstellt. Wir danken dem PinchBench-Projekt für die Demonstration eines klaren, nutzbaren Benchmark-Formats für OpenClaw-Agenten.

Lizenz

MIT – siehe LICENSE für Details.