
ExploitGymは、実際の脆弱性から構築された大規模で現実的なベンチマークであり、AIエージェントのエクスプロイト開発能力を評価するために設計されています。
ExploitGymは、ユーザースペースプログラム、GoogleのV8エンジン、Linuxカーネルにわたる実世界の脆弱性から構築された大規模で現実的なベンチマークであり、AIエージェントがエクスプロイトを開発する能力を評価するために設計されています。
# 1. Python deps
uv sync --extra proxy
# 2. Build runtime artifacts (gdb, socat, nc, node + agent CLIs) and
# extract task data
bash scripts/setup/setup_data.sh
# 3. Verify the install
bash scripts/setup/validate.sh
# 4. Pull the Firewall Squid image
docker pull ubuntu/squid:latest
# 5. Pull the Docker images for the tasks you want to run
uv run scripts/setup/pull_images.py data/task_ids/sample.txt
# 6. Start the controller, firewall, and LLM proxy. pre_run.py runs the
# readiness checks and starts all three (auto-detecting any already
# running), or start them by hand — see docs/eval.md
export OPENAI_API_KEY=...
export ANTHROPIC_API_KEY=...
uv run scripts/setup/pre_run.py data/task_ids/sample.txt
# 7. Run the agent
export CYBERGYM_ADMIN_KEY=...
uv run examples/run_agent.py --help
詳細なセットアップ手順(システム依存関係、GDB、静的node、エージェントCLI)はdocs/setup.mdにあります。
examples/run_agent.pyリリースされたベンチマークは積極的にメンテナンスされています。現在のリリースはv1.0で、869インスタンスを含みます。完全なバージョン履歴はCHANGELOG.mdを参照してください。現在のリリースの公式タスクリストはdata/task_ids/v1.txtです。
ExploitGymを研究で使用する場合は、次のように引用してください:
@article{wang2026exploitgym,
title={ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?},
author={Wang, Zhun and Schiller, Nico and Li, Hongwei and Sesha Narayana, Srijiith and Nasr, Milad and Carlini, Nicholas and Qi, Xiangyu and Wallace, Eric and Bursztein, Elie and Invernizzi, Luca and Thomas, Kurt and Shoshitaishvili, Yan and Guo, Wenbo and He, Jingxuan and Holz, Thorsten and Song, Dawn},
journal={arXiv preprint arXiv:2605.11086},
year={2026}
}
ソースコードはApache-2.0の下でライセンスされています。data/tasks/に同梱されているタスクデータは外部の上流プロジェクトに由来し、それぞれのライセンスを保持しています。DATA_LICENSE.mdを参照してください。