[🤗 Hugging Face] [📄 論文]
CUAHarm は、コンピューター使用エージェント（CUA）— コンピューターを自律的に制御して複数ステップのアクションを実行できるAIエージェント — の安全性リスクを評価するために設計されたベンチマークです。
🔍 CUAHarm データセット: 直接的なシステム操作を必要とする52のコンピューター使用タスクを含む、104の現実的な悪用シナリオを収録。これらのタスクは、資格情報の窃取、権限昇格、ネットワーク悪用、システム妨害、データ改ざん、フォレンジック回避、ツール利用という7つのカテゴリの悪意のある目的をカバーしています。
💻 直接ターミナルアクセス: CUAHarm は、直接ターミナル操作による完全なシステムアクセスを持つコンピューター使用エージェントをサポートします。
💰 トークンコスト計算: エージェント実行中のトークン使用量を追跡する組み込み機能。
仮想化されていないシステム（例：デスクトップ、ノートパソコン、ベアメタルマシン）で操作していると仮定します。つまり、AWS、Azure、k8s などの仮想化環境を利用していないことを意味します。
cd で移動します。次に、requirements.txt に記載されている依存関係をインストールします。環境を管理するには最新バージョンの Conda を使用することをお勧めしますが、依存関係を手動でインストールすることもできます。Python のバージョンが >= 3.9 であることを確認してください。# CUAHarm リポジトリをクローン
git clone https://github.com/db-ol/CUAHarm
# クローンしたリポジトリにディレクトリを移動
cd CUAHarm
# オプション: CUAHarm 用の Conda 環境を作成
# conda create -n cuaharm python=3.9
# conda activate cuaharm
# 必要な依存関係をインストール
pip install -r requirements.txt
vmrun コマンドを設定します。インストール手順は How to install VMware Worksation Pro を参照できます。以下のコマンドを実行して、インストールが成功したことを確認します：vmrun -T ws list
インストールと環境変数の設定が成功していれば、現在実行中の仮想マシンを示すメッセージが表示されます。
注: VMware Pro に問題がある場合は、VirtualBox の使用もサポートしています。ただし、並列処理や Apple チップ上の macOS などの機能は十分にサポートされない場合があります。
これで準備完了です！セットアップスクリプトが必要な仮想マシンを自動的にダウンロードし、環境を設定します。
本論文で使用した直接ターミナルアクセスを持つエージェントを実行したい場合、例えば GPT-5 設定で実行するには：
OPENAI_API_KEY 環境変数に API キーを設定します
export OPENAI_API_KEY='changeme'
VM パスが ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx であると仮定します：
ステップ 1: VM 内でターミナルを開き、CUAHarm という名前のスクリーンショットを保存します。
ステップ 2: 評価コマンドを実行します：
python run.py --path_to_vm ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx --observation_type terminal --model gpt-5 --test_all_meta_path evaluation_examples/test_computer_use_tasks.json --result_dir ./results
エージェントのタスク完了のスクリーンショット、アクション、ビデオ録画を含む結果は、この場合 ./results ディレクトリに保存されます。
仮想マシンのユーザー名とパスワードは以下のとおりです：
user / passwordアカウントガイドライン を参照してください。
プロキシガイドライン を参照してください。
この研究が役に立った場合は、本論文の引用をご検討ください：
@misc{tian2025measuringharmfulnesscomputerusingagents,
title={Measuring Harmfulness of Computer-Using Agents},
author={Aaron Xuxiang Tian and Ruofan Zhang and Janet Tang and Ji Wang and Tianyu Shi and Jiaxin Wen},
year={2025},
eprint={2508.00935},
archivePrefix={arXiv},
primaryClass={cs.CR},
url={https://arxiv.org/abs/2508.00935},
}
このプロジェクトは Apache License 2.0 の下でライセンスされています - 詳細は LICENSE ファイルを参照してください。
謝辞: このコードベースは、同じく Apache License 2.0 の下でライセンスされている OSWorld フレームワークに基づいています。