db-ol/cuaharmBenchmark zur Bewertung von Sicherheitsrisiken computernutzender Agenten, mit 104 realistischen Missbrauchsszenarien in sieben bösartigen Kategorien, mit Unterstützung für Terminalzugriff und Token-Kostenverfolgung.
[🤗 Hugging Face] [📄 Paper]
CUAHarm ist ein Benchmark zur Bewertung der Sicherheitsrisiken von Computer-Using Agents (CUAs) – KI-Agenten, die autonom Computer steuern können, um mehrstufige Aktionen auszuführen.
🔍 CUAHarm-Datensatz: Eine Sammlung von 104 realistischen Missbrauchsszenarien, darunter 52 Computer-Use-Aufgaben, die eine direkte Systeminteraktion erfordern. Diese Aufgaben decken sieben Kategorien bösartiger Ziele ab: Diebstahl von Anmeldedaten, Privilegieneskalation, Netzwerkausbeutung, Systemstörung, Datenmanipulation, forensische Umgehung und Werkzeugnutzung.
💻 Direkter Terminalzugriff: CUAHarm unterstützt Computer-Using Agents mit vollem Systemzugriff durch direkte Terminalinteraktion.
💰 Berechnung der Token-Kosten: Integrierte Funktion zur Verfolgung der Token-Nutzung während der Agentenausführung.
Angenommen, Sie arbeiten auf einem System, das nicht virtualisiert ist (z. B. Ihr Desktop, Laptop, Bare-Metal-Maschine), d. h. Sie nutzen keine virtualisierte Umgebung wie AWS, Azure oder k8s.
cd hinein. Installieren Sie dann die in requirements.txt aufgeführten Abhängigkeiten. Es wird empfohlen, die neueste Version von Conda zur Verwaltung der Umgebung zu verwenden, Sie können die Abhängigkeiten aber auch manuell installieren. Stellen Sie bitte sicher, dass die Python-Version >= 3.9 ist.# Klonen des CUAHarm-Repositorys
git clone https://github.com/db-ol/CUAHarm
# Wechseln in das geklonte Repository
cd CUAHarm
# Optional: Conda-Umgebung für CUAHarm erstellen
# conda create -n cuaharm python=3.9
# conda activate cuaharm
# Installieren der erforderlichen Abhängigkeiten
pip install -r requirements.txt
vmrun. Der Installationsprozess kann unter So installieren Sie VMware Workstation Pro nachgelesen werden. Überprüfen Sie die erfolgreiche Installation durch Ausführen des folgenden Befehls:vmrun -T ws list
Wenn die Installation zusammen mit der gesetzten Umgebungsvariable erfolgreich ist, sehen Sie eine Meldung mit den aktuell laufenden virtuellen Maschinen.
Hinweis: Wir unterstützen auch die Verwendung von VirtualBox, falls Sie Probleme mit VMware Pro haben. Funktionen wie Parallelität und macOS auf Apple-Chips werden jedoch möglicherweise nicht gut unterstützt.
Alles erledigt! Unser Setup-Skript lädt automatisch die erforderlichen virtuellen Maschinen herunter und konfiguriert die Umgebung für Sie.
Wenn Sie einen Agenten mit direktem Terminalzugriff ausführen möchten, wie in unserem Paper verwendet, z. B. unter der GPT-5-Einstellung:
Setzen Sie die Umgebungsvariable OPENAI_API_KEY mit Ihrem API-Schlüssel
export OPENAI_API_KEY='changeme'
Angenommen, Ihr VM-Pfad ist ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx:
Schritt 1: Öffnen Sie ein Terminal in Ihrer VM und speichern Sie einen Screenshot mit dem Namen CUAHarm.
Schritt 2: Führen Sie den Evaluierungsbefehl aus:
python run.py --path_to_vm ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx --observation_type terminal --model gpt-5 --test_all_meta_path evaluation_examples/test_computer_use_tasks.json --result_dir ./results
Die Ergebnisse, einschließlich Screenshots, Aktionen und Videoaufzeichnungen der Aufgabenausführung des Agenten, werden in diesem Fall im Verzeichnis ./results gespeichert.
Benutzername und Passwort für die virtuellen Maschinen lauten wie folgt:
user / passwordSiehe Konto-Richtlinien.
Siehe Proxy-Richtlinien.
Wenn Sie diese Arbeit nützlich finden, ziehen Sie bitte in Betracht, unser Paper zu zitieren:
@misc{tian2025measuringharmfulnesscomputerusingagents,
title={Measuring Harmfulness of Computer-Using Agents},
author={Aaron Xuxiang Tian and Ruofan Zhang and Janet Tang and Ji Wang and Tianyu Shi and Jiaxin Wen},
year={2025},
eprint={2508.00935},
archivePrefix={arXiv},
primaryClass={cs.CR},
url={https://arxiv.org/abs/2508.00935},
}
Dieses Projekt ist unter der Apache License 2.0 lizenziert – siehe die Datei LICENSE für Details.
Danksagungen: Diese Codebasis basiert auf dem OSWorld-Framework, das ebenfalls unter Apache License 2.0 lizenziert ist.