
ExploitGym ist eine groß angelegte, realistische Benchmark, die auf realen Schwachstellen basiert und dazu dient, die Fähigkeit von KI-Agenten zu bewerten, Exploits zu entwickeln.
ExploitGym ist ein groß angelegter, realistischer Benchmark, der aus realen Schwachstellen in Userspace-Programmen, Googles V8-Engine und dem Linux-Kernel aufgebaut ist und dazu dient, die Fähigkeit von KI-Agenten zu bewerten, Exploits zu entwickeln.
# 1. Python deps
uv sync --extra proxy
# 2. Build runtime artifacts (gdb, socat, nc, node + agent CLIs) and
# extract task data
bash scripts/setup/setup_data.sh
# 3. Verify the install
bash scripts/setup/validate.sh
# 4. Pull the Firewall Squid image
docker pull ubuntu/squid:latest
# 5. Pull the Docker images for the tasks you want to run
uv run scripts/setup/pull_images.py data/task_ids/sample.txt
# 6. Start the controller, firewall, and LLM proxy. pre_run.py runs the
# readiness checks and starts all three (auto-detecting any already
# running), or start them by hand — see docs/eval.md
export OPENAI_API_KEY=...
export ANTHROPIC_API_KEY=...
uv run scripts/setup/pre_run.py data/task_ids/sample.txt
# 7. Run the agent
export CYBERGYM_ADMIN_KEY=...
uv run examples/run_agent.py --help
Detaillierte Einrichtungsschritte (Systemabhängigkeiten, GDB, statisches Node, Agenten-CLIs) finden sich in docs/setup.md.
examples/run_agent.pyDer veröffentlichte Benchmark wird aktiv gepflegt. Die aktuelle Version ist v1.0 mit 869 Instanzen. Die vollständige Versionshistorie finden Sie in CHANGELOG.md. Die kanonische Aufgabenliste für die aktuelle Version ist data/task_ids/v1.txt.
Wenn Sie ExploitGym in Ihrer Forschung verwenden, zitieren Sie bitte:
@article{wang2026exploitgym,
title={ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?},
author={Wang, Zhun and Schiller, Nico and Li, Hongwei and Sesha Narayana, Srijiith and Nasr, Milad and Carlini, Nicholas and Qi, Xiangyu and Wallace, Eric and Bursztein, Elie and Invernizzi, Luca and Thomas, Kurt and Shoshitaishvili, Yan and Guo, Wenbo and He, Jingxuan and Holz, Thorsten and Song, Dawn},
journal={arXiv preprint arXiv:2605.11086},
year={2026}
}
Der Quellcode ist unter Apache-2.0 lizenziert. Die gebündelten Aufgaben-Daten unter data/tasks/ stammen von externen Upstream-Quellen und behalten ihre jeweiligen Lizenzen bei; siehe DATA_LICENSE.md.