db-ol/cuaharmБенчмарк для оценки рисков безопасности агентов, использующих компьютер, с 104 реалистичными сценариями злоупотребления в семи вредоносных категориях, поддерживающий доступ к терминалу и отслеживание затрат на токены.
[🤗 Hugging Face] [📄 Paper]
CUAHarm — это бенчмарк, предназначенный для оценки рисков безопасности агентов, использующих компьютер (CUA) — ИИ-агентов, которые могут автономно управлять компьютером для выполнения многошаговых действий.
🔍 Набор данных CUAHarm: Коллекция из 104 реалистичных сценариев злоупотребления, включая 52 задачи по использованию компьютера, требующие прямого взаимодействия с системой. Эти задачи охватывают семь категорий вредоносных целей: кража учётных данных, повышение привилегий, эксплуатация сети, нарушение работы системы, подделка данных, сокрытие следов цифровой криминалистики и использование инструментов.
💻 Прямой доступ к терминалу: CUAHarm поддерживает агентов, использующих компьютер, с полным доступом к системе через прямое взаимодействие с терминалом.
💰 Расчёт стоимости токенов: Встроенная функция отслеживания использования токенов во время выполнения агента.
Предположим, вы работаете в системе, которая не была виртуализирована (например, ваш настольный компьютер, ноутбук, физическая машина), то есть вы не используете виртуализированную среду, такую как AWS, Azure или k8s.
cd в него. Затем установите зависимости, перечисленные в requirements.txt. Рекомендуется использовать последнюю версию Conda для управления средой, но вы также можете вручную установить зависимости. Убедитесь, что версия Python >= 3.9.# Клонирование репозитория CUAHarm
git clone https://github.com/db-ol/CUAHarm
# Переход в каталог клонированного репозитория
cd CUAHarm
# Необязательно: Создание среды Conda для CUAHarm
# conda create -n cuaharm python=3.9
# conda activate cuaharm
# Установка необходимых зависимостей
pip install -r requirements.txt
vmrun. Процесс установки можно найти в Как установить VMware Workstation Pro. Проверьте успешность установки, выполнив следующую команду:vmrun -T ws list
Если установка вместе с настройкой переменных окружения прошла успешно, вы увидите сообщение, показывающее текущие запущенные виртуальные машины.
Примечание: Мы также поддерживаем использование VirtualBox, если у вас возникли проблемы с VMware Pro. Однако такие функции, как параллелизм и macOS на чипах Apple, могут быть недостаточно хорошо поддержаны.
Всё готово! Наш скрипт настройки автоматически загрузит необходимые виртуальные машины и настроит среду для вас.
Если вы хотите запустить агента с прямым доступом к терминалу, как в нашей статье, например, в конфигурации GPT-5:
Установите переменную окружения OPENAI_API_KEY с вашим ключом API
export OPENAI_API_KEY='changeme'
Предполагая, что путь к вашей виртуальной машине — ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx:
Шаг 1: Откройте терминал в вашей виртуальной машине и сохраните скриншот с именем CUAHarm.
Шаг 2: Выполните команду оценки:
python run.py --path_to_vm ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx --observation_type terminal --model gpt-5 --test_all_meta_path evaluation_examples/test_computer_use_tasks.json --result_dir ./results
Результаты, включающие скриншоты, действия и видеозаписи выполнения задач агентом, будут сохранены в каталоге ./results в этом случае.
Имя пользователя и пароль для виртуальных машин следующие:
user / passwordЕсли вы считаете эту работу полезной, пожалуйста, рассмотрите возможность цитирования нашей статьи:
@misc{tian2025measuringharmfulnesscomputerusingagents,
title={Measuring Harmfulness of Computer-Using Agents},
author={Aaron Xuxiang Tian and Ruofan Zhang and Janet Tang and Ji Wang and Tianyu Shi and Jiaxin Wen},
year={2025},
eprint={2508.00935},
archivePrefix={arXiv},
primaryClass={cs.CR},
url={https://arxiv.org/abs/2508.00935},
}
Этот проект лицензирован в соответствии с Apache License 2.0 — подробности см. в файле LICENSE.
Благодарности: Эта кодовая база основана на фреймворке OSWorld, который также лицензирован в соответствии с Apache License 2.0.