StepJack: قياس سلامة وكلاء استخدام الحاسوب ضد حقن التعليمات غير المباشر متعدد الخطوات

الإعداد

1. إعداد بيئة بايثون

أولاً، ثبّت جميع التبعيات وتأكد من أنك تستخدم بايثون 3.10.

conda create -n stepjack python=3.10
conda activate stepjack

pip install -r requirements.txt

2. إعداد بيئة الحماية (Sandbox)

نستخدم بيئة AWS الموفرة من RedTeamCUA.

AWS

1. قم بتكوين NETWORK_INTERFACE_MAP:

   قم بتكوين NETWORK_INTERFACE_MAP في aws_config.py استنادًا إلى مثيلات AWS الخاصة بك.

2. قم بتكوين مجموعة الأمان الخاصة بك:

   من المهم تكوين مجموعة أمان تسمح بالوصول المشروع إلى مثيلاتك المستضافة مع حظر محاولات الوصول غير المصرح بها. هذا ضروري لأن AMI يستخدم افتراضيًا فقط مصادقة أساسية قائمة على كلمة المرور، والتي يسهل اختراقها نسبيًا.

   سيصل جهازك المحلي إلى الخدمات المستضافة على AWS عبر اتصالات HTTP/TCP. لذلك، يجب أن تسمح صراحة بالوصول إلى المنافذ التالية: 8092، 6379، 9999، 5000، 9222، 8091، 2999، و3000، والتي تستخدمها إما WebArena أو TheAgentCompany.

   بالإضافة إلى ذلك، نستخدم SSH لتعديل قاعدة البيانات الأساسية مباشرة من أجل محاكاة سيناريوهات الحقن. وبالتالي، يجب أيضًا السماح بالوصول عبر SSH من عنوان IP المحلي الخاص بك في إعدادات مجموعة الأمان.

3. قم بتكوين بيانات اعتماد AWS باستخدام aws configure، حيث سيطلب منك:

   • AWS Access Key ID
   • AWS Secret Access Key
   • اسم المنطقة الافتراضي (اختياري، يمكنك الضغط على Enter)

التجربة

يوضح scripts/run_gpt54_2step.sh مثالاً واحدًا لتشغيل GPT-5.4 CUA على StepJack.

1. تعيين متغيرات البيئة

   مفاتيح CUA API

   root@kitploit:~

   # For GPT 
   unset OPENAI_BASE_URL
   export OPENAI_API_KEY="sk-proj-XXXX"
   
   # For Kimi
   export KIMI_API_KEY='sk-XXXX'
   
   # For Qwen
   export OPENAI_BASE_URL="https://dashscope-us.aliyuncs.com/compatible-mode/v1"
   export OPENAI_API_KEY="sk-XXXX"
   
   # For Claude
   export ANTHROPIC_API_KEY='sk-XXXX'
   

   بيانات اعتماد AWS

   root@kitploit:~

   export AWS_REGION='XX'
   export AWS_ACCESS_KEY='XX'
   export AWS_SECRET_KEY='XX'
   

2. تشغيل التجارب

   root@kitploit:~

   # For GPT
   python run_gpt54_multienv.py \
      --observation_type screenshot \
      --agent_type GPT54Agent \
      --headless \
      --model gpt-5.4-mini-2026-03-17 \
      --result_dir ./results_gpt54 \
      --test_all_meta_path "./dataset/{subset}/{platform_instruction}/test_{k}_step.json" \
      --test_config_base_dir "./dataset/{subset}/{platform_instruction}"  \
      --max_steps {15*k} \
      --sleep_after_execution 4 \
      --provider_name aws \
      --num_envs 12 \
      --aws_ami {reddit | agentcompany}
   
   # For Kimi
   python run_kimi_multienv.py \
      --observation_type screenshot \
      --agent_type KimiAgent \
      --headless \
      --model Kimi-K2.5 \
      --result_dir ./results_kimi \
      --test_all_meta_path "./dataset/{subset}/{platform_instruction}/test_{k}_step.json" \
      --test_config_base_dir "./dataset/{subset}/{platform_instruction}"  \
      --max_steps {15*k} \
      --sleep_after_execution 4 \
      --provider_name aws \
      --num_envs 12 \
      --aws_ami {reddit | agentcompany}
   
   # For Qwen
   python run_qwen35vl_multienv.py \
      --observation_type screenshot \
      --agent_type Qwen35VLAgent \
      --headless \
      --model qwen3.5-plus-2026-02-15 \
      --coord relative \
      --enable_thinking \
      --result_dir ./results_qwen \
      --test_all_meta_path "./dataset/{subset}/{platform_instruction}/test_{k}_step.json" \
      --test_config_base_dir "./dataset/{subset}/{platform_instruction}"  \
      --max_steps {15*k} \
      --sleep_after_execution 4 \
      --provider_name aws \
      --num_envs 12 \
      --aws_ami {reddit | agentcompany}
   
   # For Claude
   python run_claude_multienv.py \
      --observation_type screenshot \
      --action_space pyautogui \
      --agent_type AnthropicAgent \
      --api_provider anthropic \
      --headless \
      --model {claude-sonnet-4-6 | claude-haiku-4-5} \
      --result_dir ./results_claude \
      --test_all_meta_path "./dataset/{subset}/{platform_instruction}/test_{k}_step.json" \
      --test_config_base_dir "./dataset/{subset}/{platform_instruction}"  \
      --max_steps {15*k} \
      --sleep_after_execution 4 \
      --provider_name aws \
      --num_envs 12 \
      --aws_ami {reddit | agentcompany}
   

خط أنابيب التفكيك التلقائي وإضافة أهداف عدائية جديدة

رمز خط أنابيب التفكيك التلقائي موجود في auto_decomp/.

1. نفّذ cd auto_decomp، ثم أضف أهدافًا عدائية جديدة ليتم تفكيكها إلى adv_goals.py.
2. شغّل python iterative_refinement.py -k {k} لكل k \in \{2, 3\}. المخرجات: ir/goal_*_k{k}_N20_K3_all.json، وتحتوي على نتائج المرحلة 1.
3. شغّل python selected_examples/select_examples.py. المخرجات: selected_examples/selected_examples.json، وتختار أفضل 10 أمثلة من المرحلة 1.
4. بالنسبة للمرحلة 2، اكتب أمثلة اختبار بصيغة json للتحقق عبر CUA. ثم سجّل عدد الخطوات المستخدمة لاختيار نتيجة التفكيك النهائية.

شكر وتقدير

يعتمد StepJack على RedTeamCUA (Liao et al., 2025; arXiv:2505.21936)، المشتق بدوره من OSWorld (XLANG NLP Lab, 2024). كلا المصدرين العلويين مرخّصان بموجب Apache-2.0.

لا تحتوي بعض أدلة بيانات StepJack على ترويسات لكل ملف لأنها تحتوي على ملفات ثنائية أو ملفات غير مصدرية. نُسجّل هنا أصل هذه الأدلة لغرض الإسناد:

• adv/TheAgentCompany_OwnCloud/file_to_upload/ — مُنسوخ من RedTeamCUA (adv/TheAgentCompany_OwnCloud/file_to_upload/) وهو مرخّص أصلاً بموجب Apache-2.0.
• adv/upload_file/ — يحتوي على ملفّي اختبار لمفاتيح SSH (system/authorized_keys، system/id_rsa) يُستخدمان كحمولات رفع في إعدادات مهام مجموعة البيانات. من إعداد StepJack (القيم عبارة عن سلاسل نائبة، وليست مفاتيح حقيقية). صدر بموجب الترخيص الموجود في ملف LICENSE في الدليل الجذر لشجرة هذا المصدر.
• adv/upload_file_dir/ — أصلي من StepJack. غير موجود في RedTeamCUA. صدر بموجب الترخيص الموجود في ملف LICENSE في الدليل الجذر لشجرة هذا المصدر.
• dataset/ — مُكيَّف من evaluation_examples/ الخاص بـ RedTeamCUA مع تعديلات جوهرية. تُنشر أمثلة تقييم RedTeamCUA بموجب وفقًا لملف . التعديلات والإضافات التي أدخلها StepJack على إعدادات المهام صدرت بموجب الترخيص الموجود في ملف في الدليل الجذر لشجرة هذا المصدر.