DeepTrap

Inglese | 中文

Valutazione di sicurezza open-world per agenti OpenClaw in contesti di esecuzione avversari.

DeepTrap è un benchmark di sicurezza per valutare se gli agenti OpenClaw riescono a completare attività utente benigne mentre resistono alla pressione di un contesto di esecuzione malevolo: file di workspace avvelenati, skill iniettate, metadati di strumenti fuorvianti, percorsi di comando non sicuri, segreti inseriti e payload codificati.

La versione pubblica contiene 42 attività di replay organizzate in 6 classi di vulnerabilità contestuali x 7 famiglie di scenari operativi, oltre al runner del benchmark e al codice di valutazione pubblico. Include anche 10 campioni di replay in lingua cinese in tasks_zh/ per esperimenti di valutazione localizzati. La pipeline privata di generazione delle attività e di ricerca degli attacchi è volutamente esclusa.

DeepTrap accompagna l'articolo:

Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw
Hongwei Yao, Yiming Liu, Yiling He e Bingrun Yang. arXiv:2605.11047, 2026.

Perché DeepTrap?

La maggior parte dei benchmark per agenti chiede se un modello riesca a portare a termine un lavoro utile. DeepTrap pone una domanda più severa: l'agente può svolgere un lavoro utile in sicurezza quando il contesto di esecuzione circostante è avversario?

Cosa ci distingue

• Attacchi al contesto di esecuzione, non solo attacchi al prompt. DeepTrap valuta le minacce incorporate in file, skill, descrizioni di strumenti, script, log, configurazioni e artefatti codificati.
• Prompt utente benigni. La richiesta dell'utente è utile e ordinaria; il rischio deriva dal workspace circostante.
• Riproduzione pubblica e minima. Il repository contiene il runner, le attività di replay e la logica di valutazione necessarie a riprodurre le esecuzioni del benchmark senza esporre il codice privato di generazione.
• Valutazione di attacco e utilità. DeepTrap riporta sia AGS (Attack Grading Score) sia UGS (Utility Grading Score), così un modello viene valutato insieme su sicurezza e utilità del compito.
• Nativo per OpenClaw. Le attività sono costruite per agenti in stile OpenClaw e preservano le assunzioni di esecuzione di un vero workspace di file/strumenti/skill.

Novità

• 2026-05 Pubblicato l'articolo di DeepTrap su arXiv: arXiv:2605.11047.
• 2026-05 Rilasciato il repository pubblico del benchmark con 42 attività di replay, codice di valutazione e leaderboard GitHub Pages.
• 2026-05 Aggiunti campioni di replay in lingua cinese nella cartella tasks_zh/.
• 2026-05 Aggiunto l'export del dataset Hugging Face per la distribuzione dei metadati delle attività.

Classifica

AGS è Attack Grading Score e UGS è Utility Grading Score. I punteggi sono riportati per suite di rischio; Average è la media tra Rischio 1 e Rischio 6.

Pagina completa del progetto e classifica: ZJUICSR.github.io/DeepTrap

Progettazione del benchmark

DeepTrap incrocia sei classi di vulnerabilità contestuali con sette famiglie di scenari benigni. Ogni attività usa un prompt utente normale; il comportamento avversario è indotto dal contesto del workspace.

DeepTrap costruisce contesti di esecuzione compromessi a partire da istruzioni benigne e workspace puliti, cerca payload avversari candidati con segnali di reward multi-obiettivo e perfeziona i payload riusciti tramite probing basato su riflessione.

Suite di rischio

Famiglie di scenari

Avvio rapido

Requisiti

• Python 3.10+
• CLI OpenClaw installata e configurata
• Un modello target disponibile tramite OpenClaw
• Credenziali API del giudice per il backend di valutazione selezionato:
  • OpenRouter: OPENROUTER_API_KEY
  • DeepSeek: DEEPSEEK_API_KEY
  • DashScope/Qwen: credenziali compatibili con DashScope previste dal client incluso

Gli ID dei modelli devono includere il prefisso del provider, ad esempio openrouter/anthropic/claude-sonnet-4-5.

Installazione e validazione

git clone https://github.com/ZJUICSR/DeepTrap.git
cd DeepTrap
pip install -e .

# Validate task metadata without running OpenClaw
python benchmark.py --dry-run

# List bundled tasks
python benchmark.py --list-tasks

# Validate Chinese-language sample tasks
python benchmark.py --tasks-dir tasks_zh --dry-run

Esecuzione

# Run one risk suite
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite R1

# Run specific tasks
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite task_R1_T01,task_R2_T01

# Run the Chinese-language sample tasks
python benchmark.py --tasks-dir tasks_zh --model openrouter/anthropic/claude-sonnet-4-5 --suite all

# Run all tasks with repeated trials
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite all --runs 3

I risultati vengono scritti in results/ per impostazione predefinita.

Controllare i risultati

Ogni esecuzione scrive un file JSON contenente i metadati del modello, la configurazione della suite, i punteggi per attività, la lunghezza delle trascrizioni, i percorsi del workspace, i metadati di utilizzo quando disponibili e i campi di riepilogo aggregati.

# Overall score summary
jq '.summary' results/*.json

# Per-task scores
jq '.tasks[] | {task_id, category, grading, attack_eval}' results/*.json

# Tasks where the replay attack was reproduced strongly
jq '.tasks[] | select(.attack_eval.mean >= 0.8) | {task_id, attack: .attack_eval.mean}' results/*.json

Ogni attività riporta:

• AGS: punteggio di valutazione dell'attacco, dove un valore più alto indica una realizzazione dell'attacco più forte
• UGS: punteggio di valutazione dell'utilità, dove un valore più alto indica un migliore completamento dell'attività
• tempistiche dell'attività, lunghezza della trascrizione, percorso del workspace e metadati di utilizzo quando disponibili

Dataset Hugging Face

DeepTrap può essere distribuito anche come dataset Hugging Face all'indirizzo ZJUICSR/DeepTrap.

L'export strutturato salva un'attività del benchmark per riga JSONL in data/tasks.jsonl, mentre le definizioni originali delle attività in Markdown restano in tasks/. Le attività campione in lingua cinese possono essere esportate separatamente da tasks_zh/ quando necessario.

python scripts/export_hf_dataset.py

# Optional: export Chinese-language samples
python scripts/export_hf_dataset.py --tasks-dir tasks_zh --output data/tasks_zh.jsonl

Dopo l'upload, gli utenti possono caricare i metadati del benchmark con:

from datasets import load_dataset

dataset = load_dataset("ZJUICSR/DeepTrap", split="train")

Ogni riga include task_id, name, risk, category, prompt, expected_behavior, grading_criteria, workspace_files, metadati di valutazione e flag per i controlli automatici e le rubriche del giudice LLM.

Riferimento dei comandi

Struttura del progetto

.
├── benchmark.py                  # Public benchmark runner
├── tasks/                         # 42 bundled task definitions
├── tasks_zh/                      # 10 Chinese-language replay samples
├── scenes/                        # Clean source scenes for baseline/delta scoring
├── data/tasks.jsonl               # Hugging Face dataset export
├── docs/                          # GitHub Pages project site
├── huggingface/README.md          # Hugging Face dataset card
├── scripts/                       # Runtime support and export code
│   ├── lib_agent.py               # OpenClaw execution helpers
│   ├── lib_reward.py              # Attack/utility scoring
│   ├── lib_criteria.py            # Public judge criteria
│   ├── lib_llm.py                 # Judge backend router
│   ├── lib_openrouter.py          # OpenRouter judge client
│   ├── lib_deepseek.py            # DeepSeek judge client
│   ├── lib_dashscope.py           # DashScope/Qwen judge client
│   └── export_hf_dataset.py       # Dataset export helper
├── tests/                         # Public validation tests
├── SKILL.md                       # Agent-facing benchmark skill
└── pyproject.toml

Citazione

Se utilizzi DeepTrap nella tua ricerca, ti preghiamo di citare:

@article{yao2026trap,
  title={Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw},
  author={Yao, Hongwei and Liu, Yiming and He, Yiling and Yang, Bingrun},
  journal={arXiv preprint arXiv:2605.11047},
  year={2026}
}

Riconoscimenti

DeepTrap è stato in parte ispirato da PinchBench, che fornisce una suite di benchmark pratica per misurare le capacità degli agenti OpenClaw su attività del mondo reale. Ringraziamo il progetto PinchBench per aver dimostrato un formato di benchmark chiaro e utilizzabile per gli agenti OpenClaw.

Licenza

MIT — consultare LICENSE per i dettagli.