sunblaze-ucb/exploitgymExploitGym es un benchmark realista a gran escala construido a partir de vulnerabilidades del mundo real, diseñado para evaluar la capacidad de los agentes de IA para desarrollar exploits.
ExploitGym es un benchmark realista a gran escala construido a partir de vulnerabilidades reales en programas de espacio de usuario, el motor V8 de Google y el kernel de Linux, diseñado para evaluar la capacidad de los agentes de IA para desarrollar exploits.
# 1. Python deps
uv sync --extra proxy
# 2. Build runtime artifacts (gdb, socat, nc, node + agent CLIs) and
# extract task data
bash scripts/setup/setup_data.sh
# 3. Verify the install
bash scripts/setup/validate.sh
# 4. Pull the Firewall Squid image
docker pull ubuntu/squid:latest
# 5. Pull the Docker images for the tasks you want to run
uv run scripts/setup/pull_images.py data/task_ids/sample.txt
# 6. Start the controller, firewall, and LLM proxy. pre_run.py runs the
# readiness checks and starts all three (auto-detecting any already
# running), or start them by hand — see docs/eval.md
export OPENAI_API_KEY=...
export ANTHROPIC_API_KEY=...
uv run scripts/setup/pre_run.py data/task_ids/sample.txt
# 7. Run the agent
export CYBERGYM_ADMIN_KEY=...
uv run examples/run_agent.py --help
Los pasos de instalación detallados (dependencias del sistema, GDB, node estático, CLI de agentes) se encuentran en docs/setup.md.
examples/run_agent.pyEl benchmark publicado se mantiene activamente. La versión actual es v1.0 con 869 instancias. Consulta CHANGELOG.md para ver el historial completo de versiones. La lista canónica de tareas para la versión actual es data/task_ids/v1.txt.
Si utilizas ExploitGym en tu investigación, por favor cita:
@article{wang2026exploitgym,
title={ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?},
author={Wang, Zhun and Schiller, Nico and Li, Hongwei and Sesha Narayana, Srijiith and Nasr, Milad and Carlini, Nicholas and Qi, Xiangyu and Wallace, Eric and Bursztein, Elie and Invernizzi, Luca and Thomas, Kurt and Shoshitaishvili, Yan and Guo, Wenbo and He, Jingxuan and Holz, Thorsten and Song, Dawn},
journal={arXiv preprint arXiv:2605.11086},
year={2026}
}
El código fuente está licenciado bajo Apache-2.0. Los datos de tareas incluidos en data/tasks/ provienen de fuentes externas y conservan sus respectivas licencias; consulta DATA_LICENSE.md.