sunblaze-ucb/exploitgymExploitGym은 실제 세계의 취약점을 기반으로 구축된 대규모의 현실적인 벤치마크로, AI 에이전트의 익스플로잇 개발 능력을 평가하도록 설계되었습니다.
ExploitGym은 사용자 공간 프로그램, Google V8 엔진, Linux 커널 전반의 실제 취약점을 기반으로 구축된 대규모의 현실적인 벤치마크로, AI 에이전트가 익스플로잇을 개발하는 능력을 평가하도록 설계되었습니다.
# 1. Python deps
uv sync --extra proxy
# 2. Build runtime artifacts (gdb, socat, nc, node + agent CLIs) and
# extract task data
bash scripts/setup/setup_data.sh
# 3. Verify the install
bash scripts/setup/validate.sh
# 4. Pull the Firewall Squid image
docker pull ubuntu/squid:latest
# 5. Pull the Docker images for the tasks you want to run
uv run scripts/setup/pull_images.py data/task_ids/sample.txt
# 6. Start the controller, firewall, and LLM proxy. pre_run.py runs the
# readiness checks and starts all three (auto-detecting any already
# running), or start them by hand — see docs/eval.md
export OPENAI_API_KEY=...
export ANTHROPIC_API_KEY=...
uv run scripts/setup/pre_run.py data/task_ids/sample.txt
# 7. Run the agent
export CYBERGYM_ADMIN_KEY=...
uv run examples/run_agent.py --help
자세한 설정 단계(시스템 종속성, GDB, static node, 에이전트 CLIs)는 docs/setup.md에 있습니다.
배포된 벤치마크는 활발히 유지관리되고 있습니다. 현재 릴리스는 v1.0이며
869개의 인스턴스를 포함합니다. 전체 버전 기록은 CHANGELOG.md를 참조하세요.
현재 릴리스의 표준 작업 목록은 data/task_ids/v1.txt입니다.
연구에서 ExploitGym을 사용하신다면 다음을 인용해 주세요:
@article{wang2026exploitgym,
title={ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?},
author={Wang, Zhun and Schiller, Nico and Li, Hongwei and Sesha Narayana, Srijiith and Nasr, Milad and Carlini, Nicholas and Qi, Xiangyu and Wallace, Eric and Bursztein, Elie and Invernizzi, Luca and Thomas, Kurt and Shoshitaishvili, Yan and Guo, Wenbo and He, Jingxuan and Holz, Thorsten and Song, Dawn},
journal={arXiv preprint arXiv:2605.11086},
year={2026}
}
소스 코드는 Apache-2.0에 따라 라이선스가 부여됩니다. 번들로 포함된
data/tasks/ 아래의 작업 데이터는 외부 업스트림에서 파생되었으며 각각의
라이선스를 유지합니다. DATA_LICENSE.md를 참조하세요.