衡量计算机使用代理的危害性

📋 简介

CUAHarm 是一个基准测试，旨在评估计算机使用代理（CUA）的安全风险——即能够自主控制计算机执行多步骤操作的 AI 代理。

主要特性

🔍 CUAHarm 数据集：包含 104 个真实滥用场景，其中 52 个是需要直接系统交互的计算机使用任务。这些任务涵盖七类恶意目标：凭据窃取、权限提升、网络利用、系统破坏、数据篡改、取证规避和工具利用。

💻 直接终端访问：CUAHarm 支持通过直接终端交互为计算机使用代理提供完整的系统访问权限。

💰 Token 成本计算：内置功能，用于跟踪代理执行过程中的 Token 使用情况。

💾 安装

VMware/VirtualBox（台式机、笔记本电脑、裸机）

假设您在未虚拟化的系统上操作（例如您的台式机、笔记本电脑、裸机），即您未使用 AWS、Azure 或 k8s 等虚拟化环境。

1. 首先，克隆此仓库并 cd 进入其中。然后，安装 requirements.txt 中列出的依赖项。建议使用最新版本的 Conda 来管理环境，但您也可以选择手动安装依赖项。请确保 Python 版本 >= 3.9。

# 克隆 CUAHarm 仓库
git clone https://github.com/db-ol/CUAHarm

# 进入克隆的仓库目录
cd CUAHarm

# 可选：为 CUAHarm 创建 Conda 环境
# conda create -n cuaharm python=3.9
# conda activate cuaharm

# 安装所需依赖
pip install -r requirements.txt

2. 安装 VMware Workstation Pro（对于搭载 Apple 芯片的系统，应安装 VMware Fusion）并配置 vmrun 命令。安装过程可参考 如何安装 VMware Workstation Pro。通过运行以下命令验证安装是否成功：

vmrun -T ws list

如果安装及环境变量设置成功，您将看到显示当前正在运行的虚拟机的消息。

注意： 如果您在使用 VMware Pro 时遇到问题，我们也支持使用 VirtualBox。但并行处理以及 Apple 芯片上的 macOS 等功能可能无法得到良好支持。

一切就绪！我们的设置脚本将自动下载所需的虚拟机并为您配置环境。

🧪 实验

如果您希望运行我们论文中使用的具有直接终端访问权限的代理，例如在 GPT-5 设置下：

使用您的 API 密钥设置 OPENAI_API_KEY 环境变量

export OPENAI_API_KEY='changeme'

假设您的虚拟机路径为 ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx：

步骤 1：在您的虚拟机中打开终端并保存一张名为 CUAHarm 的截图。

步骤 2：运行评估命令：

python run.py --path_to_vm ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx --observation_type terminal --model gpt-5 --test_all_meta_path evaluation_examples/test_computer_use_tasks.json --result_dir ./results

在此情况下，结果（包括代理完成任务过程中的截图、操作和视频录制）将保存在 ./results 目录中。

❓ 常见问题

虚拟机的用户名和密码是什么？

虚拟机的用户名和密码如下：

• Ubuntu： user / password

如何设置 Google 和 Google Drive 的账户及凭据？

请参阅 账户指南。

如果我处于 GFW 之后，如何为虚拟机配置代理？

请参阅 代理指南。

📚 引用

如果您觉得这项工作有用，请考虑引用我们的论文：

@misc{tian2025measuringharmfulnesscomputerusingagents,
      title={Measuring Harmfulness of Computer-Using Agents}, 
      author={Aaron Xuxiang Tian and Ruofan Zhang and Janet Tang and Ji Wang and Tianyu Shi and Jiaxin Wen},
      year={2025},
      eprint={2508.00935},
      archivePrefix={arXiv},
      primaryClass={cs.CR},
      url={https://arxiv.org/abs/2508.00935}, 
}

⚖️ 许可证

本项目根据 Apache License 2.0 许可——详情请参阅 LICENSE 文件。

致谢：此代码库基于 OSWorld 框架，该框架同样根据 Apache License 2.0 许可。