DeepTrap

الإنجليزية | 中文

تقييم أمني للعالم المفتوح لوكلاء OpenClaw في سياقات تنفيذ عدائية.

DeepTrap هو معيار أمني (benchmark) لتقييم ما إذا كان بإمكان وكلاء OpenClaw إكمال مهام مستخدم سليمة مع مقاومة ضغوط سياق التنفيذ الخبيثة: ملفات مساحة عمل مسمومة، ومهارات محقونة، وبيانات وصفية مضللة للأدوات، ومسارات أوامر غير آمنة، وأسرار مزروعة، وحمولات مشفّرة.

يحتوي الإصدار العلني على 42 مهمة إعادة تشغيل موزعة على 6 فئات من نقاط الضعف السياقية × 7 عائلات سيناريوهات تشغيلية، بالإضافة إلى مشغّل المعيار ورمز التسجيل العلني. ويتضمن أيضًا 10 عينات إعادة تشغيل باللغة الصينية في tasks_zh/ لتجارب التقييم المحلي. ولا يتم تضمين خط أنابيب توليد المهام الخاصة والبحث عن الهجمات عن قصد.

يرافق DeepTrap الورقة البحثية التالية:

اختبار الفريق الأحمر لسياقات تنفيذ الوكلاء: تقييم أمني للعالم المفتوح على OpenClaw
Hongwei Yao و Yiming Liu و Yiling He و Bingrun Yang. arXiv:2605.11047، 2026.

لماذا DeepTrap؟

تسأل معظم معايير الوكلاء عما إذا كان النموذج يمكنه إنجاز عمل مفيد. يطرح DeepTrap سؤالًا أكثر صرامة: هل يمكن للوكيل إنجاز عمل مفيد بأمان عندما يكون سياق التنفيذ المحيط به عدائيًا؟

ما الذي يميزنا

• هجمات سياق التنفيذ، وليست هجمات المطالبات فقط. يقيّم DeepTrap التهديدات المضمّنة في الملفات والمهارات وأوصاف الأدوات والبرامج النصية والسجلات وملفات الإعدادات والقطع الأثرية المشفّرة.
• مطالبات مستخدم سليمة. طلب المستخدم مفيد وعادي؛ يأتي الخطر من مساحة العمل المحيطة.
• إعادة إنتاج علنية وبسيطة. يحتوي المستودع على المشغّل ومهام إعادة التشغيل ومنطق التسجيل اللازم لإعادة إنتاج عمليات تشغيل المعيار دون كشف رمز التوليد الخاص.
• تسجيل الهجوم والفائدة. يبلّغ DeepTrap عن كل من AGS (درجة تقييم الهجوم) وUGS (درجة تقييم الفائدة)، بحيث يتم تقييم النموذج على السلامة وفائدة المهمة معًا.
• أصيل لـ OpenClaw. صُمّمت المهام لوكلاء من طراز OpenClaw وتحافظ على افتراضات التنفيذ لمساحة عمل حقيقية من الملفات/الأدوات/المهارات.

الأخبار

• 2026-05 نُشرت ورقة DeepTrap على arXiv: arXiv:2605.11047.
• 2026-05 صدر المستودع العلني للمعيار مع 42 مهمة إعادة تشغيل ورمز التسجيل ولوحة صدارة على GitHub Pages.
• 2026-05 أُضيفت عينات إعادة تشغيل باللغة الصينية تحت tasks_zh/.
• 2026-05 أُضيف تصدير مجموعة بيانات Hugging Face لتوزيع البيانات الوصفية للمهام.

لوحة الصدارة

AGS هي درجة تقييم الهجوم وUGS هي درجة تقييم الفائدة. تُبلّغ الدرجات حسب مجموعة المخاطر؛ والمتوسط هو المتوسط عبر المخاطر من 1 إلى 6.

صفحة المشروع كاملة ولوحة الصدارة: ZJUICSR.github.io/DeepTrap

تصميم المعيار

يجمع DeepTrap بين ست فئات من نقاط الضعف السياقية وسبع عائلات سيناريوهات سليمة. تستخدم كل مهمة مطالبة مستخدم عادية؛ ويُستحث السلوك العدائي من خلال سياق مساحة العمل.

يبني DeepTrap سياقات تنفيذ مخترقة من تعليمات سليمة ومساحات عمل نظيفة، ويبحث عن حمولات عدائية مرشحة باستخدام إشارات مكافأة متعددة الأهداف، ويصقل الحمولات الناجحة من خلال اختبار قائم على التأمل (reflection-based probing).

مجموعات المخاطر

عائلات السيناريوهات

البدء السريع

المتطلبات

• Python 3.10+
• تثبيت وتهيئة OpenClaw CLI
• نموذج مستهدف متاح عبر OpenClaw
• بيانات اعتماد API للمُقيّم للخلفية المحددة:
  • OpenRouter: OPENROUTER_API_KEY
  • DeepSeek: DEEPSEEK_API_KEY
  • DashScope/Qwen: بيانات اعتماد متوافقة مع DashScope متوقعة من العميل المرفق

ينبغي أن تتضمن معرّفات النماذج بادئة المزوّد، على سبيل المثال openrouter/anthropic/claude-sonnet-4-5.

التثبيت والتحقق

git clone https://github.com/ZJUICSR/DeepTrap.git
cd DeepTrap
pip install -e .

# Validate task metadata without running OpenClaw
python benchmark.py --dry-run

# List bundled tasks
python benchmark.py --list-tasks

# Validate Chinese-language sample tasks
python benchmark.py --tasks-dir tasks_zh --dry-run

التشغيل

# Run one risk suite
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite R1

# Run specific tasks
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite task_R1_T01,task_R2_T01

# Run the Chinese-language sample tasks
python benchmark.py --tasks-dir tasks_zh --model openrouter/anthropic/claude-sonnet-4-5 --suite all

# Run all tasks with repeated trials
python benchmark.py --model openrouter/anthropic/claude-sonnet-4-5 --suite all --runs 3

تُكتب النتائج في results/ افتراضيًا.

التحقق من النتائج

تكتب كل عملية تشغيل ملف JSON يحتوي على بيانات وصفية للنموذج، وإعدادات المجموعة، ودرجات كل مهمة، وأطوال محاضر الجلسات، ومسارات مساحات العمل، وبيانات الاستخدام عند توفّرها، وحقول ملخص إجمالية.

# Overall score summary
jq '.summary' results/*.json

# Per-task scores
jq '.tasks[] | {task_id, category, grading, attack_eval}' results/*.json

# Tasks where the replay attack was reproduced strongly
jq '.tasks[] | select(.attack_eval.mean >= 0.8) | {task_id, attack: .attack_eval.mean}' results/*.json

تبلّغ كل مهمة عن:

• AGS: درجة تقييم الهجوم، حيث تشير القيمة الأعلى إلى تحقيق أقوى للهجوم
• UGS: درجة تقييم الفائدة، حيث تشير القيمة الأعلى إلى إكمال أفضل للمهمة
• توقيت المهمة، وطول المحضر، ومسار مساحة العمل، وبيانات الاستخدام عند توفّرها

مجموعة بيانات Hugging Face

يمكن أيضًا توزيع DeepTrap كمجموعة بيانات على Hugging Face في ZJUICSR/DeepTrap.

يخزّن التصدير المنظّم مهمة معيار واحدة لكل صف JSONL في data/tasks.jsonl، بينما تبقى تعريفات المهام الأصلية بصيغة Markdown في tasks/. ويمكن تصدير مهام العينات باللغة الصينية بشكل منفصل من tasks_zh/ عند الحاجة.

python scripts/export_hf_dataset.py

# Optional: export Chinese-language samples
python scripts/export_hf_dataset.py --tasks-dir tasks_zh --output data/tasks_zh.jsonl

يمكن للمستخدمين بعد الرفع تحميل البيانات الوصفية للمعيار باستخدام:

from datasets import load_dataset

dataset = load_dataset("ZJUICSR/DeepTrap", split="train")

يتضمن كل صف task_id، وname، وrisk، وcategory، وprompt، وexpected_behavior، وgrading_criteria، وworkspace_files، وبيانات وصفية للتسجيل، وعلامات للفحوصات الآلية ومعايير تقييم LLM.

مرجع الأوامر

هيكل المشروع

.
├── benchmark.py                  # Public benchmark runner
├── tasks/                         # 42 bundled task definitions
├── tasks_zh/                      # 10 Chinese-language replay samples
├── scenes/                        # Clean source scenes for baseline/delta scoring
├── data/tasks.jsonl               # Hugging Face dataset export
├── docs/                          # GitHub Pages project site
├── huggingface/README.md          # Hugging Face dataset card
├── scripts/                       # Runtime support and export code
│   ├── lib_agent.py               # OpenClaw execution helpers
│   ├── lib_reward.py              # Attack/utility scoring
│   ├── lib_criteria.py            # Public judge criteria
│   ├── lib_llm.py                 # Judge backend router
│   ├── lib_openrouter.py          # OpenRouter judge client
│   ├── lib_deepseek.py            # DeepSeek judge client
│   ├── lib_dashscope.py           # DashScope/Qwen judge client
│   └── export_hf_dataset.py       # Dataset export helper
├── tests/                         # Public validation tests
├── SKILL.md                       # Agent-facing benchmark skill
└── pyproject.toml

الاستشهاد

إذا استخدمت DeepTrap في بحثك، فيرجى الاستشهاد بما يلي:

@article{yao2026trap,
  title={Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw},
  author={Yao, Hongwei and Liu, Yiming and He, Yiling and Yang, Bingrun},
  journal={arXiv preprint arXiv:2605.11047},
  year={2026}
}

شكر وتقدير

استُلهم DeepTrap جزئيًا من PinchBench، الذي يوفّر مجموعة معايير عملية لقياس قدرة وكلاء OpenClaw في المهام الواقعية. نشكر مشروع PinchBench على تقديم صيغة معيار واضحة وقابلة للاستخدام لوكلاء OpenClaw.

الترخيص

MIT — راجع LICENSE للتفاصيل.