
Un cadre modulaire pour évaluer les LLM et les stratégies agentiques sur des défis de sécurité à travers HackTheBox, TryHackMe, PortSwigger Labs, Cybench, picoCTF et plus encore.
Une expérience ludique pour voir jusqu'où les grands modèles de langage (LLM) peuvent aller pour résoudre seuls des challenges CTF et des labs de sécurité. Cela a commencé avec HackTheBox et couvre désormais de nombreuses plateformes et solveurs agentiques.
BoxPwnr fournit un système plug and play qui peut être utilisé pour tester les performances de différentes architectures agentiques : --solver [claude_code, codex, cursor-cli, grok, kiro_cli, external, single_loop_xmltag, single_loop, single_loop_compactation, hacksynth].
Plateformes prises en charge : --platform [htb, htb_ctf, htb_challenges, portswigger, ctfd, local, xbow, hackbench, cybench, cybergym, exploitbench, picoctf, tryhackme, levelupctf, argus]
Consultez Platform Implementations pour une documentation détaillée sur chaque plateforme prise en charge.
Toutes les traces de résolution sont disponibles dans BoxPwnr Traces & Benchmarks. Chaque trace inclut les journaux de conversation complets montrant le raisonnement du LLM, les commandes exécutées et les sorties reçues. Vous pouvez rejouer n'importe quelle trace dans une visionneuse web interactive pour voir exactement comment la machine a été résolue étape par étape.
| Plateforme | Résolus | Achèvement | Traces |
|---|---|---|---|
| HTB Starting Point | 25/25 | 770 | |
| HTB Labs | 268/526 | 783 | |
| HTB Challenges | 324/818 | 732 | |
| PortSwigger Labs | 163/270 | 377 | |
| XBOW | 102/104 | 525 | |
| Cybench | 40/40 | 2165 | |
| CyberGym | 476/1507 | 977 | |
| picoCTF | 502/503 | 1215 | |
| TryHackMe | 213/477 | 905 | |
| HackBench | 11/16 | 27 | |
| ExploitBench | 2/42 | 58 | |
| LevelUpCTF | 50/254 | 146 | |
| Argus | 47/60 | 1026 | |
| BSidesSF CTF 2026 | 43/51 | 76 | |
| Cloud Village CTF 2026 | 12/20 | 30 | |
| Neurogrid CTF: The ultimate AI security showdown | 17/36 | 197 |
BoxPwnr utilise des LLMs (ou des agents CLI tels que Claude Code, Codex, Grok ou Cursor) pour résoudre de manière autonome des cibles CTF / lab via un processus itératif :
--executor docker)single_loop_* par défaut) :claude_code, codex, grok, cursor-cli, kiro_cli) exécutent leur propre boucle d'agent et renvoient les résultats en flux à BoxPwnr git clone --recurse-submodules https://github.com/0ca/BoxPwnr
cd BoxPwnr
# Install uv if you haven't already
curl -LsSf https://astral.sh/uv/install.sh | sh
# Sync dependencies (creates .venv)
uv sync
uv run boxpwnr --platform htb --target meow [options]
Lors du premier lancement, il vous sera demandé de saisir les clés API requises. Les clés sont enregistrées dans .env pour une utilisation ultérieure. Les solveurs CLI (Claude Code, Codex, Grok, Cursor, Kiro) utilisent leur propre authentification par abonnement au lieu de (ou en plus de) clés API.