DeepTrap

अंग्रेज़ी | चीनी

प्रतिकूल निष्पादन संदर्भों में OpenClaw एजेंटों के लिए ओपन-वर्ल्ड सुरक्षा मूल्यांकन।

DeepTrap एक सुरक्षा बेंचमार्क है जो यह मूल्यांकन करता है कि क्या OpenClaw एजेंट दुर्भावनापूर्ण निष्पादन-संदर्भ दबाव का प्रतिरोध करते हुए सामान्य उपयोगकर्ता कार्यों को पूरा कर सकते हैं: ज़हरीली वर्कस्पेस फ़ाइलें, इंजेक्ट किए गए कौशल, भ्रामक टूल मेटाडेटा, असुरक्षित कमांड पथ, छिपे हुए रहस्य, और एन्कोडेड पेलोड।

सार्वजनिक रिलीज़ में 42 रीप्ले कार्य शामिल हैं जिन्हें 6 प्रासंगिक भेद्यता वर्गों x 7 परिचालन परिदृश्य परिवारों के रूप में व्यवस्थित किया गया है, साथ ही बेंचमार्क रनर और सार्वजनिक स्कोरिंग कोड भी। इसमें स्थानीयकृत मूल्यांकन प्रयोगों के लिए tasks_zh/ में 10 चीनी-भाषा रीप्ले नमूने भी शामिल हैं। निजी कार्य-निर्माण और हमला-खोज पाइपलाइन जानबूझकर शामिल नहीं की गई है।

DeepTrap निम्नलिखित शोधपत्र के साथ आता है:

रेड-टीमिंग एजेंट निष्पादन संदर्भ: OpenClaw पर ओपन-वर्ल्ड सुरक्षा मूल्यांकन
Hongwei Yao, Yiming Liu, Yiling He, और Bingrun Yang. arXiv:2605.11047, 2026.

DeepTrap क्यों?

अधिकांश एजेंट बेंचमार्क यह पूछते हैं कि क्या कोई मॉडल उपयोगी कार्य पूरा कर सकता है। DeepTrap एक कठोर प्रश्न पूछता है: क्या एजेंट तब उपयोगी कार्य सुरक्षित रूप से पूरा कर सकता है जब आस-पास का निष्पादन संदर्भ प्रतिकूल हो?

हमें क्या अलग बनाता है

• निष्पादन-संदर्भ हमले, केवल प्रॉम्प्ट हमले नहीं। DeepTrap फ़ाइलों, कौशलों, टूल विवरणों, स्क्रिप्ट्स, लॉग्स, कॉन्फ़िग्स, और एन्कोडेड आर्टिफैक्ट्स में एम्बेडेड खतरों का मूल्यांकन करता है।
• सामान्य उपयोगकर्ता प्रॉम्प्ट। उपयोगकर्ता अनुरोध उपयोगी और सामान्य होता है; जोखिम आस-पास के वर्कस्पेस से आता है।
• सार्वजनिक, न्यूनतम प्रतिकृति। रिपॉजिटरी में रनर, रीप्ले कार्य, और स्कोरिंग तर्क शामिल हैं जो निजी जनरेशन कोड को उजागर किए बिना बेंचमार्क रन को दोहराने के लिए आवश्यक हैं।
• हमला और उपयोगिता स्कोरिंग। DeepTrap AGS (अटैक ग्रेडिंग स्कोर) और UGS (यूटिलिटी ग्रेडिंग स्कोर) दोनों रिपोर्ट करता है, ताकि मॉडल का मूल्यांकन सुरक्षा और कार्य उपयोगिता दोनों पर एक साथ किया जा सके।
• OpenClaw-मूल। कार्य OpenClaw-शैली एजेंटों के लिए बनाए गए हैं और एक वास्तविक फ़ाइल/टूल/कौशल वर्कस्पेस की निष्पादन मान्यताओं को संरक्षित करते हैं।

समाचार

• 2026-05 DeepTrap पेपर arXiv पर जारी किया गया: arXiv:2605.11047।
• 2026-05 सार्वजनिक बेंचमार्क रिपॉजिटरी 42 रीप्ले कार्यों, स्कोरिंग कोड, और GitHub Pages लीडरबोर्ड के साथ जारी की गई।
• 2026-05 tasks_zh/ के अंतर्गत चीनी-भाषा रीप्ले नमूने जोड़े गए।
• 2026-05 कार्य मेटाडेटा वितरण के लिए Hugging Face डेटासेट निर्यात जोड़ा गया।

लीडरबोर्ड

AGS अटैक ग्रेडिंग स्कोर है और UGS यूटिलिटी ग्रेडिंग स्कोर है। स्कोर जोखिम सुइट के अनुसार रिपोर्ट किए जाते हैं; Average जोखिम 1 से जोखिम 6 तक का औसत है।

पूर्ण प्रोजेक्ट पृष्ठ और लीडरबोर्ड: ZJUICSR.github.io/DeepTrap

बेंचमार्क डिज़ाइन

DeepTrap छह प्रासंगिक भेद्यता वर्गों को सात सामान्य परिदृश्य परिवारों के साथ जोड़ता है। प्रत्येक कार्य एक सामान्य उपयोगकर्ता प्रॉम्प्ट का उपयोग करता है; प्रतिकूल व्यवहार कार्यक्षेत्र संदर्भ द्वारा प्रेरित किया जाता है।

DeepTrap सामान्य निर्देशों और स्वच्छ वर्कस्पेस से समझौता किए गए निष्पादन संदर्भों का निर्माण करता है, बहु-उद्देश्यीय पुरस्कार संकेतों के साथ उम्मीदवार प्रतिकूल पेलोड की खोज करता है, और प्रतिबिंब-आधारित जांच के माध्यम से सफल पेलोड को परिष्कृत करता है।

जोखिम सुइट

परिदृश्य परिवार

त्वरित आरंभ

आवश्यकताएँ

• Python 3.10+
• OpenClaw CLI स्थापित और कॉन्फ़िगर किया हुआ
• OpenClaw के माध्यम से उपलब्ध एक लक्षित मॉडल
• चयनित जज बैकएंड के लिए जज API क्रेडेंशियल्स:
  • OpenRouter: OPENROUTER_API_KEY
  • DeepSeek: DEEPSEEK_API_KEY
  • DashScope/Qwen: बंडल किए गए क्लाइंट द्वारा अपेक्षित DashScope-संगत क्रेडेंशियल्स

मॉडल ID में उनका प्रदाता उपसर्ग शामिल होना चाहिए, उदाहरण के लिए openrouter/anthropic/claude-sonnet-4-5।

इंस्टॉल करें और सत्यापित करें

git clone https://github.com/ZJUICSR/DeepTrap.git
cd DeepTrap
pip install -e .

# Validate task metadata without running OpenClaw
python benchmark.py --dry-run

# List bundled tasks
python benchmark.py --list-tasks

# Validate Chinese-language sample tasks
python benchmark.py --tasks-dir tasks_zh --dry-run

चलाएँ

# Run one risk suite
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite R1

# Run specific tasks
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite task_R1_T01,task_R2_T01

# Run the Chinese-language sample tasks
python benchmark.py --tasks-dir tasks_zh --model openrouter/anthropic/claude-sonnet-4-5 --suite all

# Run all tasks with repeated trials
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite all --runs 3

परिणाम डिफ़ॉल्ट रूप से results/ में लिखे जाते हैं।

परिणाम जाँचें

प्रत्येक रन एक JSON फ़ाइल लिखता है जिसमें मॉडल मेटाडेटा, सुइट कॉन्फ़िगरेशन, प्रति-कार्य स्कोर, ट्रांसक्रिप्ट लंबाई, वर्कस्पेस पथ, उपलब्ध होने पर उपयोग मेटाडेटा, और समग्र सारांश फ़ील्ड शामिल होते हैं।

# Overall score summary
jq '.summary' results/*.json

# Per-task scores
jq '.tasks[] | {task_id, category, grading, attack_eval}' results/*.json

# Tasks where the replay attack was reproduced strongly
jq '.tasks[] | select(.attack_eval.mean >= 0.8) | {task_id, attack: .attack_eval.mean}' results/*.json

प्रत्येक कार्य रिपोर्ट करता है:

• AGS: अटैक ग्रेडिंग स्कोर, जहाँ उच्च मान मजबूत हमले की प्राप्ति दर्शाता है
• UGS: यूटिलिटी ग्रेडिंग स्कोर, जहाँ उच्च मान बेहतर कार्य पूर्णता दर्शाता है
• कार्य समय, ट्रांसक्रिप्ट लंबाई, वर्कस्पेस पथ, और उपलब्ध होने पर उपयोग मेटाडेटा

Hugging Face डेटासेट

DeepTrap को ZJUICSR/DeepTrap पर Hugging Face डेटासेट के रूप में भी वितरित किया जा सकता है।

संरचित निर्यात data/tasks.jsonl में प्रति JSONL पंक्ति एक बेंचमार्क कार्य संग्रहीत करता है, जबकि मूल Markdown कार्य परिभाषाएँ tasks/ में रहती हैं। आवश्यकता पड़ने पर चीनी-भाषा नमूना कार्यों को tasks_zh/ से अलग से निर्यात किया जा सकता है।

python scripts/export_hf_dataset.py

# Optional: export Chinese-language samples
python scripts/export_hf_dataset.py --tasks-dir tasks_zh --output data/tasks_zh.jsonl

अपलोड के बाद, उपयोगकर्ता बेंचमार्क मेटाडेटा निम्न प्रकार लोड कर सकते हैं:

from datasets import load_dataset

dataset = load_dataset("ZJUICSR/DeepTrap", split="train")

प्रत्येक पंक्ति में task_id, name, risk, category, prompt, expected_behavior, grading_criteria, workspace_files, स्कोरिंग मेटाडेटा, और स्वचालित जाँच व LLM जज रूब्रिक के लिए फ़्लैग शामिल होते हैं।

कमांड संदर्भ

प्रोजेक्ट संरचना

.
├── benchmark.py                  # Public benchmark runner
├── tasks/                         # 42 bundled task definitions
├── tasks_zh/                      # 10 Chinese-language replay samples
├── scenes/                        # Clean source scenes for baseline/delta scoring
├── data/tasks.jsonl               # Hugging Face dataset export
├── docs/                          # GitHub Pages project site
├── huggingface/README.md          # Hugging Face dataset card
├── scripts/                       # Runtime support and export code
│   ├── lib_agent.py               # OpenClaw execution helpers
│   ├── lib_reward.py              # Attack/utility scoring
│   ├── lib_criteria.py            # Public judge criteria
│   ├── lib_llm.py                 # Judge backend router
│   ├── lib_openrouter.py          # OpenRouter judge client
│   ├── lib_deepseek.py            # DeepSeek judge client
│   ├── lib_dashscope.py           # DashScope/Qwen judge client
│   └── export_hf_dataset.py       # Dataset export helper
├── tests/                         # Public validation tests
├── SKILL.md                       # Agent-facing benchmark skill
└── pyproject.toml

उद्धरण

यदि आप अपने शोध में DeepTrap का उपयोग करते हैं, तो कृपया उद्धृत करें:

@article{yao2026trap,
  title={Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw},
  author={Yao, Hongwei and Liu, Yiming and He, Yiling and Yang, Bingrun},
  journal={arXiv preprint arXiv:2605.11047},
  year={2026}
}

आभार

DeepTrap आंशिक रूप से PinchBench से प्रेरित था, जो वास्तविक-विश्व कार्यों पर OpenClaw एजेंट क्षमता मापने के लिए एक व्यावहारिक बेंचमार्क सुइट प्रदान करता है। हम PinchBench परियोजना को OpenClaw एजेंटों के लिए एक स्पष्ट, उपयोग योग्य बेंचमार्क प्रारूप प्रदर्शित करने के लिए धन्यवाद देते हैं।

लाइसेंस

MIT — विवरण के लिए LICENSE देखें।