db-ol/cuaharmمعيار لتقييم مخاطر السلامة للوكلاء الذين يستخدمون الحاسوب، مع 104 سيناريوهات إساءة استخدام واقعية عبر سبع فئات خبيثة، مع دعم الوصول إلى الطرفية وتتبع تكلفة الرموز.
[🤗 Hugging Face] [📄 الورقة البحثية]
CUAHarm هو معيار مرجعي مصمم لتقييم مخاطر السلامة للوكلاء المستخدمين للحاسوب (CUAs) - وكلاء ذكاء اصطناعي يمكنهم التحكم في الحواسيب بشكل مستقل لتنفيذ إجراءات متعددة الخطوات.
🔍 مجموعة بيانات CUAHarm: مجموعة من 104 سيناريوهات إساءة استخدام واقعية، بما في ذلك 52 مهمة استخدام حاسوب تتطلب تفاعلاً مباشراً مع النظام. تغطي هذه المهام سبع فئات من الأهداف الخبيثة: سرقة بيانات الاعتماد، تصعيد الامتيازات، استغلال الشبكة، تعطيل النظام، التلاعب بالبيانات، التهرب من الأدلة الجنائية، واستخدام الأدوات.
💻 وصول مباشر إلى الطرفية: يدعم CUAHarm الوكلاء المستخدمين للحاسوب مع وصول كامل للنظام من خلال التفاعل المباشر مع الطرفية.
💰 حساب تكلفة الرموز: وظيفة مدمجة لتتبع استخدام الرموز أثناء تنفيذ الوكيل.
افترض أنك تعمل على نظام غير افتراضي (مثل سطح المكتب أو الكمبيوتر المحمول أو الجهاز الفعلي)، مما يعني أنك لا تستخدم بيئة افتراضية مثل AWS أو Azure أو k8s.
cd. ثم قم بتثبيت التبعيات المدرجة في requirements.txt. يُنصح باستخدام أحدث إصدار من Conda لإدارة البيئة، ولكن يمكنك أيضاً اختيار تثبيت التبعيات يدوياً. يرجى التأكد من أن إصدار Python هو >= 3.9.# استنساخ مستودع CUAHarm
git clone https://github.com/db-ol/CUAHarm
# الانتقال إلى المستودع المستنسخ
cd CUAHarm
# اختياري: إنشاء بيئة Conda لـ CUAHarm
# conda create -n cuaharm python=3.9
# conda activate cuaharm
# تثبيت التبعيات المطلوبة
pip install -r requirements.txt
vmrun. يمكن الرجوع إلى كيفية تثبيت VMware Workstation Pro لعملية التثبيت. تحقق من نجاح التثبيت عن طريق تشغيل الأمر التالي:vmrun -T ws list
إذا نجح التثبيت مع إعداد متغيرات البيئة، سترى رسالة تعرض الأجهزة الافتراضية قيد التشغيل حالياً.
ملاحظة: ندعم أيضاً استخدام VirtualBox إذا واجهت مشاكل مع VMware Pro. ومع ذلك، قد لا تكون الميزات مثل التوازي و macOS على شرائح Apple مدعومة بشكل جيد.
كل شيء جاهز! سيقوم البرنامج النصي للإعداد تلقائياً بتنزيل الأجهزة الافتراضية اللازمة وتكوين البيئة لك.
إذا كنت ترغب في تشغيل وكيل مع وصول مباشر إلى الطرفية كما هو مستخدم في ورقتنا البحثية، على سبيل المثال، ضمن إعداد GPT-5:
قم بتعيين متغير البيئة OPENAI_API_KEY بمفتاح API الخاص بك
export OPENAI_API_KEY='changeme'
بافتراض أن مسار جهازك الافتراضي هو ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx:
الخطوة 1: افتح طرفية في جهازك الافتراضي واحفظ لقطة شاشة باسم CUAHarm.
الخطوة 2: قم بتشغيل أمر التقييم:
python run.py --path_to_vm ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx --observation_type terminal --model gpt-5 --test_all_meta_path evaluation_examples/test_computer_use_tasks.json --result_dir ./results
سيتم حفظ النتائج، التي تتضمن لقطات الشاشة والإجراءات وتسجيلات الفيديو لإنجاز مهام الوكيل، في دليل ./results في هذه الحالة.
اسم المستخدم وكلمة المرور للأجهزة الافتراضية هما كما يلي:
user / passwordانظر إرشادات الحساب.
انظر إرشادات الوكيل.
إذا وجدت هذا العمل مفيداً، يرجى التفكير في الاستشهاد بورقتنا البحثية:
@misc{tian2025measuringharmfulnesscomputerusingagents,
title={Measuring Harmfulness of Computer-Using Agents},
author={Aaron Xuxiang Tian and Ruofan Zhang and Janet Tang and Ji Wang and Tianyu Shi and Jiaxin Wen},
year={2025},
eprint={2508.00935},
archivePrefix={arXiv},
primaryClass={cs.CR},
url={https://arxiv.org/abs/2508.00935},
}
هذا المشروع مرخص بموجب رخصة Apache License 2.0 - راجع ملف LICENSE للحصول على التفاصيل.
شكر وتقدير: تعتمد هذه القاعدة البرمجية على إطار عمل OSWorld، والذي هو أيضاً مرخص بموجب Apache License 2.0.