
Un marco modular para la evaluación comparativa de LLMs y estrategias de agentes en desafíos de seguridad a través de HackTheBox, TryHackMe, PortSwigger Labs, Cybench, picoCTF y más.
Un experimento divertido para ver hasta dónde pueden llegar los Modelos de Lenguaje de Gran Escala (LLMs) por sí solos resolviendo desafíos CTF y laboratorios de seguridad. Comenzó con HackTheBox y ahora abarca muchas plataformas y solucionadores agénticos.
BoxPwnr proporciona un sistema plug-and-play que se puede utilizar para probar el rendimiento de diferentes arquitecturas agénticas: --solver [claude_code, codex, cursor-cli, grok, kiro_cli, external, single_loop_xmltag, single_loop, single_loop_compactation, hacksynth].
Plataformas compatibles: --platform [htb, htb_ctf, htb_challenges, portswigger, ctfd, local, xbow, hackbench, cybench, cybergym, exploitbench, picoctf, tryhackme, levelupctf, argus]
Consulte Implementaciones de Plataformas para obtener documentación detallada sobre cada plataforma compatible.
Todas las trazas de resolución están disponibles en BoxPwnr Trazas y Benchmarks. Cada traza incluye registros completos de conversaciones que muestran el razonamiento del LLM, los comandos ejecutados y las salidas recibidas. Puede reproducir cualquier traza en un visor web interactivo para ver exactamente cómo se resolvió la máquina paso a paso.
| Plataforma | Resueltos | Completado | Trazas |
|---|---|---|---|
| HTB Starting Point | 25/25 | 770 | |
| HTB Labs | 268/526 | 783 | |
| HTB Challenges | 324/818 | 732 | |
| PortSwigger Labs | 163/270 | 377 | |
| XBOW | 102/104 | 525 | |
| Cybench | 40/40 | 2165 | |
| CyberGym | 476/1507 | 977 | |
| picoCTF | 502/503 | 1215 | |
| TryHackMe | 213/477 | 905 | |
| HackBench | 11/16 | 27 | |
| ExploitBench | 2/42 | 58 | |
| LevelUpCTF | 50/254 | 146 | |
| Argus | 47/60 | 1026 | |
| BSidesSF CTF 2026 | 43/51 | 76 | |
| Cloud Village CTF 2026 | 12/20 | 30 | |
| Neurogrid CTF: The ultimate AI security showdown | 17/36 | 197 |
BoxPwnr utiliza LLMs (o agentes CLI como Claude Code, Codex, Grok o Cursor) para resolver de forma autónoma objetivos CTF / laboratorios a través de un proceso iterativo:
--executor docker)single_loop_* por defecto):claude_code, codex, grok, cursor-cli, kiro_cli) ejecutan su propio bucle de agente y transmiten los resultados de vuelta a BoxPwnrClonar el repositorio con submódulos ```bash git clone --recurse-submodules https://github.com/0ca/BoxPwnr cd BoxPwnr
curl -LsSf https://astral.sh/uv/install.sh | sh
uv sync
2. Docker
- BoxPwnr requiere que Docker esté instalado y en ejecución
- Las instrucciones de instalación se pueden encontrar en: [https://docs.docker.com/get-docker/](https://docs.docker.com/get-docker/)
### Ejecutar BoxPwnr```bash
uv run boxpwnr --platform htb --target meow [options]
En la primera ejecución, se te pedirán las claves de API necesarias. Las claves se guardan en .env para uso futuro. Los solucionadores CLI (Claude Code, Codex, Grok, Cursor, Kiro) utilizan su propia autenticación de suscripción en lugar de (o además de) las claves de API.