db-ol/cuaharm컴퓨터 사용 에이전트의 안전 위험을 평가하기 위한 벤치마크로, 7가지 악성 범주에 걸친 104개의 현실적인 오용 시나리오를 포함하며, 터미널 접근 및 토큰 비용 추적을 지원합니다.
[🤗 Hugging Face] [📄 Paper]
CUAHarm은 컴퓨터 사용 에이전트(CUA)의 안전 위험을 평가하기 위해 설계된 벤치마크입니다. CUA는 컴퓨터를 자율적으로 제어하여 다단계 작업을 수행할 수 있는 AI 에이전트입니다.
🔍 CUAHarm 데이터셋: 직접적인 시스템 상호작용이 필요한 52개의 컴퓨터 사용 작업을 포함한 104개의 현실적인 오용 시나리오 모음입니다. 이러한 작업은 자격 증명 도용, 권한 상승, 네트워크 침투, 시스템 장애, 데이터 변조, 포렌식 회피, 도구 활용 등 7가지 범주의 악의적 목표를 다룹니다.
💻 직접 터미널 액세스: CUAHarm은 직접 터미널 상호작용을 통해 전체 시스템 액세스 권한을 가진 컴퓨터 사용 에이전트를 지원합니다.
💰 토큰 비용 계산: 에이전트 실행 중 토큰 사용량을 추적하는 내장 기능입니다.
가상화되지 않은 시스템(예: 데스크톱, 노트북, 베어메탈 머신)에서 운영 중이라고 가정합니다. 즉, AWS, Azure 또는 k8s와 같은 가상화 환경을 사용하지 않는다는 의미입니다.
cd합니다. 그런 다음 requirements.txt에 나열된 종속성을 설치합니다. 환경을 관리하려면 최신 버전의 Conda를 사용하는 것이 좋지만, 수동으로 종속성을 설치할 수도 있습니다. Python 버전이 >= 3.9인지 확인하세요.# CUAHarm 저장소 클론
git clone https://github.com/db-ol/CUAHarm
# 클론된 저장소 디렉토리로 이동
cd CUAHarm
# 선택 사항: CUAHarm용 Conda 환경 생성
# conda create -n cuaharm python=3.9
# conda activate cuaharm
# 필수 종속성 설치
pip install -r requirements.txt
vmrun 명령을 구성합니다. 설치 과정은 VMware Workstation Pro 설치 방법을 참조할 수 있습니다. 다음을 실행하여 설치 성공 여부를 확인합니다:vmrun -T ws list
설치와 환경 변수 설정이 성공하면 현재 실행 중인 가상 머신을 보여주는 메시지가 표시됩니다.
참고: VMware Pro에 문제가 있는 경우 VirtualBox 사용도 지원합니다. 다만 병렬 처리 및 Apple 칩에서의 macOS와 같은 기능은 제대로 지원되지 않을 수 있습니다.
모든 준비가 완료되었습니다! 설정 스크립트가 필요한 가상 머신을 자동으로 다운로드하고 환경을 자동으로 구성합니다.
논문에서 사용된 직접 터미널 액세스 권한을 가진 에이전트를 실행하려면, 예를 들어 GPT-5 설정에서:
OPENAI_API_KEY 환경 변수를 API 키로 설정합니다.
export OPENAI_API_KEY='changeme'
VM 경로가 ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx라고 가정합니다:
1단계: VM에서 터미널을 열고 CUAHarm이라는 이름의 스크린샷을 저장합니다.
2단계: 평가 명령을 실행합니다:
python run.py --path_to_vm ./vmware_vm_data/Ubuntu0/Ubuntu0.vmx --observation_type terminal --model gpt-5 --test_all_meta_path evaluation_examples/test_computer_use_tasks.json --result_dir ./results
이 경우 에이전트의 작업 완료 과정에 대한 스크린샷, 작업 및 비디오 녹화를 포함한 결과가 ./results 디렉토리에 저장됩니다.
가상 머신의 사용자 이름과 비밀번호는 다음과 같습니다:
user / password계정 가이드라인을 참조하세요.
프록시 가이드라인을 참조하세요.
이 작업이 유용하다고 생각되면 논문을 인용해 주시기 바랍니다:
@misc{tian2025measuringharmfulnesscomputerusingagents,
title={Measuring Harmfulness of Computer-Using Agents},
author={Aaron Xuxiang Tian and Ruofan Zhang and Janet Tang and Ji Wang and Tianyu Shi and Jiaxin Wen},
year={2025},
eprint={2508.00935},
archivePrefix={arXiv},
primaryClass={cs.CR},
url={https://arxiv.org/abs/2508.00935},
}
이 프로젝트는 Apache License 2.0에 따라 라이선스가 부여됩니다 - 자세한 내용은 LICENSE 파일을 참조하세요.
감사의 말: 이 코드베이스는 Apache License 2.0에 따라 라이선스가 부여된 OSWorld 프레임워크를 기반으로 합니다.