
ExploitGym — это крупномасштабный реалистичный бенчмарк, созданный на основе реальных уязвимостей и предназначенный для оценки способности ИИ-агентов разрабатывать эксплойты.
ExploitGym — это крупномасштабный реалистичный бенчмарк, построенный на реальных уязвимостях в пользовательских программах, движке V8 от Google и ядре Linux, предназначенный для оценки способности ИИ-агентов разрабатывать эксплойты.
# 1. Python-зависимости
uv sync --extra proxy
# 2. Сборка артефактов времени выполнения (gdb, socat, nc, node + агентские CLI) и
# извлечение данных задач
bash scripts/setup/setup_data.sh
# 3. Проверка установки
bash scripts/setup/validate.sh
# 4. Загрузка образа Firewall Squid
docker pull ubuntu/squid:latest
# 5. Загрузка Docker-образов для задач, которые вы хотите запустить
uv run scripts/setup/pull_images.py data/task_ids/sample.txt
# 6. Запуск контроллера, межсетевого экрана и LLM-прокси. pre_run.py выполняет
# проверки готовности и запускает все три компонента (автоматически определяя уже
# запущенные), или запустите их вручную — см. docs/eval.md
export OPENAI_API_KEY=...
export ANTHROPIC_API_KEY=...
uv run scripts/setup/pre_run.py data/task_ids/sample.txt
# 7. Запуск агента
export CYBERGYM_ADMIN_KEY=...
uv run examples/run_agent.py --help
Подробные шаги по установке (системные зависимости, GDB, статический node, агентские CLI) находятся в docs/setup.md.
examples/run_agent.pyОпубликованный бенчмарк активно поддерживается. Текущий релиз — v1.0 с
869 экземплярами. Полную историю версий см. в CHANGELOG.md.
Канонический список задач для текущего релиза находится в data/task_ids/v1.txt.
Если вы используете ExploitGym в своих исследованиях, пожалуйста, цитируйте:
@article{wang2026exploitgym,
title={ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?},
author={Wang, Zhun and Schiller, Nico and Li, Hongwei and Sesha Narayana, Srijiith and Nasr, Milad and Carlini, Nicholas and Qi, Xiangyu and Wallace, Eric and Bursztein, Elie and Invernizzi, Luca and Thomas, Kurt and Shoshitaishvili, Yan and Guo, Wenbo and He, Jingxuan and Holz, Thorsten and Song, Dawn},
journal={arXiv preprint arXiv:2605.11086},
year={2026}
}
Исходный код распространяется под лицензией Apache-2.0. Встроенные данные задач
в data/tasks/ получены из внешних источников и сохраняют свои
соответствующие лицензии, см. DATA_LICENSE.md.