db-ol/cuaharmबेंचमार्क जो कंप्यूटर-उपयोग करने वाले एजेंटों के सुरक्षा जोखिमों का मूल्यांकन करता है, जिसमें सात दुर्भावनापूर्ण श्रेणियों में 104 यथार्थवादी दुरुपयोग परिदृश्य शामिल हैं, और यह टर्मिनल एक्सेस तथा टोकन लागत ट्रैकिंग का समर्थन करता है।
[🤗 Hugging Face] [📄 Paper]
CUAHarm एक बेंचमार्क है जिसे कंप्यूटर-उपयोग एजेंटों (CUAs) के सुरक्षा जोखिमों का मूल्यांकन करने के लिए डिज़ाइन किया गया है - AI एजेंट जो बहु-चरणीय क्रियाएँ करने के लिए कंप्यूटर को स्वायत्त रूप से नियंत्रित कर सकते हैं।
🔍 CUAHarm डेटासेट: 104 यथार्थवादी दुरुपयोग परिदृश्यों का संग्रह, जिसमें 52 कंप्यूटर उपयोग कार्य शामिल हैं जिनके लिए सीधे सिस्टम इंटरैक्शन की आवश्यकता होती है। ये कार्य दुर्भावनापूर्ण उद्देश्यों की सात श्रेणियों को कवर करते हैं: क्रेडेंशियल चोरी, विशेषाधिकार वृद्धि, नेटवर्क शोषण, सिस्टम व्यवधान, डेटा छेड़छाड़, फोरेंसिक चोरी, और टूल उपयोग।
💻 प्रत्यक्ष टर्मिनल एक्सेस: CUAHarm कंप्यूटर-उपयोग एजेंटों को प्रत्यक्ष टर्मिनल इंटरैक्शन के माध्यम से पूर्ण सिस्टम एक्सेस के साथ समर्थन करता है।
💰 टोकन लागत गणना: एजेंट निष्पादन के दौरान टोकन उपयोग को ट्रैक करने के लिए अंतर्निहित कार्यक्षमता।
मान लीजिए कि आप ऐसे सिस्टम पर काम कर रहे हैं जो वर्चुअलाइज़्ड नहीं है (जैसे आपका डेस्कटॉप, लैपटॉप, बेयर मेटल मशीन), जिसका अर्थ है कि आप AWS, Azure, या k8s जैसे वर्चुअलाइज़्ड वातावरण का उपयोग नहीं कर रहे हैं।
cd करें। फिर, requirements.txt में सूचीबद्ध निर्भरताएँ स्थापित करें। यह अनुशंसित है कि आप वातावरण प्रबंधित करने के लिए Conda के नवीनतम संस्करण का उपयोग करें, लेकिन आप निर्भरताओं को मैन्युअल रूप से स्थापित करना भी चुन सकते हैं। कृपया सुनिश्चित करें कि Python का संस्करण >= 3.9 है।# CUAHarm रिपॉजिटरी को क्लोन करें
git clone https://github.com/db-ol/CUAHarm
# क्लोन की गई रिपॉजिटरी में निर्देशिका बदलें
cd CUAHarm
# वैकल्पिक: CUAHarm के लिए Conda वातावरण बनाएं
# conda create -n cuaharm python=3.9
# conda activate cuaharm
# आवश्यक निर्भरताएँ स्थापित करें
pip install -r requirements.txt
vmrun कमांड कॉन्फ़िगर करें। स्थापना प्रक्रिया How to install VMware Worksation Pro का संदर्भ ले सकती है। निम्नलिखित चलाकर सफल स्थापना सत्यापित करें:vmrun -T ws list
यदि स्थापना और पर्यावरण चर सेटिंग सफल है, तो आपको वर्तमान में चल रहे वर्चुअल मशीनों को दिखाने वाला संदेश दिखाई देगा।
नोट: यदि आपको VMware Pro के साथ समस्याएँ हैं तो हम VirtualBox का उपयोग करने का भी समर्थन करते हैं। हालाँकि, समानांतरता और Apple चिप्स पर macOS जैसी सुविधाएँ अच्छी तरह से समर्थित नहीं हो सकती हैं।
सब कुछ तैयार है! हमारी सेटअप स्क्रिप्ट स्वचालित रूप से आवश्यक वर्चुअल मशीनें डाउनलोड करेगी और आपके लिए वातावरण कॉन्फ़िगर करेगी।
यदि आप हमारे पेपर में उपयोग किए गए प्रत्यक्ष टर्मिनल एक्सेस वाले एजेंट को चलाना चाहते हैं, उदाहरण के लिए, GPT-5 सेटिंग के तहत:
अपनी API कुंजी के साथ OPENAI_API_KEY पर्यावरण चर सेट करें
export OPENAI_API_KEY='changeme'
मान लें कि आपका VM पथ ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx है:
चरण 1: अपने VM में एक टर्मिनल खोलें और CUAHarm नामक स्क्रीनशॉट सहेजें।
चरण 2: मूल्यांकन कमांड चलाएँ:
python run.py --path_to_vm ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx --observation_type terminal --model gpt-5 --test_all_meta_path evaluation_examples/test_computer_use_tasks.json --result_dir ./results
परिणाम, जिनमें स्क्रीनशॉट, क्रियाएँ और एजेंट के कार्य पूर्णता के वीडियो रिकॉर्डिंग शामिल हैं, इस मामले में ./results निर्देशिका में सहेजे जाएँगे।
वर्चुअल मशीनों के लिए उपयोगकर्ता नाम और पासवर्ड निम्नलिखित हैं:
user / passwordAccount Guideline देखें।
Proxy Guideline देखें।
यदि आपको यह कार्य उपयोगी लगता है, तो कृपया हमारे पेपर को उद्धृत करने पर विचार करें:
@misc{tian2025measuringharmfulnesscomputerusingagents,
title={Measuring Harmfulness of Computer-Using Agents},
author={Aaron Xuxiang Tian and Ruofan Zhang and Janet Tang and Ji Wang and Tianyu Shi and Jiaxin Wen},
year={2025},
eprint={2508.00935},
archivePrefix={arXiv},
primaryClass={cs.CR},
url={https://arxiv.org/abs/2508.00935},
}
यह प्रोजेक्ट Apache License 2.0 के तहत लाइसेंस प्राप्त है - विवरण के लिए LICENSE फ़ाइल देखें।
आभार: यह कोडबेस OSWorld फ्रेमवर्क पर आधारित है, जो Apache License 2.0 के तहत भी लाइसेंस प्राप्त है।