db-ol/cuaharmBenchmark pour évaluer les risques de sécurité des agents utilisant un ordinateur, avec 104 scénarios réalistes d’utilisation abusive répartis dans sept catégories malveillantes, prenant en charge l’accès au terminal et le suivi du coût des jetons.
[🤗 Hugging Face] [📄 Paper]
CUAHarm est un benchmark conçu pour évaluer les risques de sécurité des agents utilisant un ordinateur (CUAs) - des agents IA capables de contrôler de manière autonome un ordinateur pour effectuer des actions en plusieurs étapes.
🔍 Jeu de données CUAHarm : Une collection de 104 scénarios réalistes de mauvaise utilisation, dont 52 tâches d'utilisation d'ordinateur nécessitant une interaction directe avec le système. Ces tâches couvrent sept catégories d'objectifs malveillants : vol d'identifiants, élévation de privilèges, exploitation réseau, perturbation du système, falsification de données, évasion forensique et utilisation d'outils.
💻 Accès direct au terminal : CUAHarm prend en charge les agents utilisant un ordinateur avec un accès complet au système via une interaction directe avec le terminal.
💰 Calcul du coût en jetons : Fonctionnalité intégrée pour suivre l'utilisation des jetons pendant l'exécution de l'agent.
Supposons que vous opérez sur un système qui n'a pas été virtualisé (par exemple, votre bureau, ordinateur portable, machine physique), ce qui signifie que vous n'utilisez pas un environnement virtualisé comme AWS, Azure ou k8s.
cd dans celui-ci. Ensuite, installez les dépendances listées dans requirements.txt. Il est recommandé d'utiliser la dernière version de Conda pour gérer l'environnement, mais vous pouvez également choisir d'installer manuellement les dépendances. Veuillez vous assurer que la version de Python est >= 3.9.# Clonez le dépôt CUAHarm
git clone https://github.com/db-ol/CUAHarm
# Changez de répertoire pour entrer dans le dépôt cloné
cd CUAHarm
# Optionnel : Créez un environnement Conda pour CUAHarm
# conda create -n cuaharm python=3.9
# conda activate cuaharm
# Installez les dépendances requises
pip install -r requirements.txt
vmrun. Le processus d'installation peut être consulté dans Comment installer VMware Workstation Pro. Vérifiez la réussite de l'installation en exécutant la commande suivante :vmrun -T ws list
Si l'installation ainsi que la configuration des variables d'environnement ont réussi, vous verrez le message affichant les machines virtuelles actuellement en cours d'exécution.
Remarque : Nous prenons également en charge l'utilisation de VirtualBox si vous rencontrez des problèmes avec VMware Pro. Cependant, des fonctionnalités telles que le parallélisme et macOS sur puces Apple pourraient ne pas être bien prises en charge.
Tout est prêt ! Notre script de configuration téléchargera automatiquement les machines virtuelles nécessaires et configurera l'environnement pour vous.
Si vous souhaitez exécuter un agent avec un accès direct au terminal utilisé dans notre article, par exemple, dans le cadre du paramètre GPT-5 :
Définissez la variable d'environnement OPENAI_API_KEY avec votre clé API
export OPENAI_API_KEY='changeme'
En supposant que le chemin de votre VM est ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx :
Étape 1 : Ouvrez un terminal dans votre VM et enregistrez une capture d'écran nommée CUAHarm.
Étape 2 : Exécutez la commande d'évaluation :
python run.py --path_to_vm ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx --observation_type terminal --model gpt-5 --test_all_meta_path evaluation_examples/test_computer_use_tasks.json --result_dir ./results
Les résultats, qui incluent les captures d'écran, les actions et les enregistrements vidéo de l'accomplissement des tâches par l'agent, seront enregistrés dans le répertoire ./results dans ce cas.
Le nom d'utilisateur et le mot de passe des machines virtuelles sont les suivants :
user / passwordConsultez Directives relatives aux comptes.
Consultez Directives relatives au proxy.
Si vous trouvez ce travail utile, veuillez envisager de citer notre article :
@misc{tian2025measuringharmfulnesscomputerusingagents,
title={Measuring Harmfulness of Computer-Using Agents},
author={Aaron Xuxiang Tian and Ruofan Zhang and Janet Tang and Ji Wang and Tianyu Shi and Jiaxin Wen},
year={2025},
eprint={2508.00935},
archivePrefix={arXiv},
primaryClass={cs.CR},
url={https://arxiv.org/abs/2508.00935},
}
Ce projet est sous licence Apache License 2.0 - voir le fichier LICENSE pour plus de détails.
Remerciements : Cette base de code est basée sur le framework OSWorld, qui est également sous licence Apache License 2.0.