Ein modulares Framework zum Benchmarken von LLMs und agentischen Strategien auf Sicherheitsherausforderungen in HackTheBox, TryHackMe, PortSwigger Labs, Cybench, picoCTF und mehr.
Ein unterhaltsames Experiment, um zu sehen, wie weit Large Language Models (LLMs) bei der eigenständigen Lösung von CTF-Herausforderungen und Sicherheitslabs kommen können. Es begann mit HackTheBox und deckt inzwischen viele Plattformen und agentische Solver ab.
BoxPwnr bietet ein Plug-and-Play-System, mit dem die Leistung verschiedener agentischer Architekturen getestet werden kann: --solver [claude_code, codex, cursor-cli, grok, kiro_cli, external, single_loop_xmltag, single_loop, single_loop_compactation, hacksynth].
Unterstützte Plattformen: --platform [htb, htb_ctf, htb_challenges, portswigger, ctfd, local, xbow, hackbench, cybench, cybergym, exploitbench, picoctf, tryhackme, levelupctf, argus]
Siehe Platform Implementations für eine ausführliche Dokumentation zu jeder unterstützten Plattform.
Alle Lösungstraces sind in BoxPwnr Traces & Benchmarks verfügbar. Jeder Trace enthält vollständige Gesprächsprotokolle, die die Argumentation des LLM, ausgeführte Befehle und empfangene Ausgaben zeigen. Sie können jeden Trace in einem interaktiven Web-Viewer erneut abspielen, um genau zu sehen, wie die Maschine Schritt für Schritt gelöst wurde.
| Plattform | Gelöst | Abschluss | Traces |
|---|---|---|---|
| HTB Starting Point | 25/25 | 770 | |
| HTB Labs | 268/526 | 783 | |
| HTB Challenges | 324/818 | 732 | |
| PortSwigger Labs | 163/270 | 377 | |
| XBOW | 102/104 | 525 | |
| Cybench | 40/40 | 2165 | |
| CyberGym | 476/1507 | 977 | |
| picoCTF | 502/503 | 1215 | |
| TryHackMe | 213/477 | 905 | |
| HackBench | 11/16 | 27 | |
| ExploitBench | 2/42 | 58 | |
| LevelUpCTF | 50/254 | 146 | |
| Argus | 47/60 | 1026 | |
| BSidesSF CTF 2026 | 43/51 | 76 | |
| Cloud Village CTF 2026 | 12/20 | 30 | |
| Neurogrid CTF: The ultimate AI security showdown | 17/36 | 197 |
BoxPwnr verwendet LLMs (oder CLI-Agenten wie Claude Code, Codex, Grok oder Cursor), um CTF-/Lab-Ziele durch einen iterativen Prozess autonom zu lösen:
--executor docker)single_loop_*):claude_code, codex, grok, cursor-cli, kiro_cli) führen ihre eigene Agent-Schleife aus und streamen die Ergebnisse zurück an BoxPwnr git clone --recurse-submodules https://github.com/0ca/BoxPwnr
cd BoxPwnr
# Install uv if you haven't already
curl -LsSf https://astral.sh/uv/install.sh | sh
# Sync dependencies (creates .venv)
uv sync
uv run boxpwnr --platform htb --target meow [options]
Beim ersten Start wirst du zur Eingabe aller erforderlichen API-Schlüssel aufgefordert. Die Schlüssel werden für die zukünftige Verwendung in .env gespeichert. CLI-Solver (Claude Code, Codex, Grok, Cursor, Kiro) verwenden stattdessen (oder zusätzlich) ihre eigene Abonnement-Authentifizierung anstelle von API-Schlüsseln.
Entdecken Sie die meistgenutzten Tools unserer Community.
Noch keine Beliebtheitsdaten.