إطار عمل معياري لتقييم نماذج اللغة الكبيرة (LLMs) والاستراتيجيات الوكيلة في التحديات الأمنية عبر HackTheBox وTryHackMe وPortSwigger Labs وCybench وpicoCTF والمزيد.
تجربة ممتعة لمعرفة إلى أي مدى يمكن لنماذج اللغة الكبيرة (LLMs) أن تذهب في حل تحديات CTF والمختبرات الأمنية بشكل مستقل. بدأت مع HackTheBox وتغطي الآن العديد من المنصات والحلول الوكيلة.
يوفر BoxPwnr نظامًا جاهزًا للتشغيل (plug and play) يمكن استخدامه لاختبار أداء البنى الوكيلة المختلفة: --solver [claude_code, codex, cursor-cli, grok, kiro_cli, external, single_loop_xmltag, single_loop, single_loop_compactation, hacksynth].
المنصات المدعومة: --platform [htb, htb_ctf, htb_challenges, portswigger, ctfd, local, xbow, hackbench, cybench, cybergym, exploitbench, picoctf, tryhackme, levelupctf, argus]
انظر تطبيقات المنصات للحصول على توثيق مفصل لكل منصة مدعومة.
جميع سجلات الحل متاحة في سجلات ومعايير BoxPwnr. يتضمن كل سجل سجلات محادثة كاملة تُظهر تفكير النموذج اللغوي الكبير، والأوامر المنفذة، والمخرجات المستلمة. يمكنك إعادة تشغيل أي سجل في عارض ويب تفاعلي لترى بالضبط كيف تم حل الجهاز خطوة بخطوة.
| Platform | Solved | Completion | Traces |
|---|---|---|---|
| HTB Starting Point | 25/25 |  | 770 |
| HTB Labs | 268/526 |  | 783 |
| HTB Challenges | 324/818 |  | 732 |
| PortSwigger Labs | 163/270 |  | 377 |
| XBOW | 102/104 |  | 525 |
| Cybench | 40/40 | | 2165 |
| CyberGym | 476/1507 |  | 977 |
| picoCTF | 502/503 |  | 1215 |
| TryHackMe | 213/477 |  | 905 |
| HackBench | 11/16 |  | 27 |
| ExploitBench | 2/42 |  | 58 |
| LevelUpCTF | 50/254 |  | 146 |
| Argus | 47/60 |  | 1026 |
| BSidesSF CTF 2026 | 43/51 |  | 76 |
| Cloud Village CTF 2026 | 12/20 |  | 30 |
| Neurogrid CTF: The ultimate AI security showdown | 17/36 |  | 197 |
يستخدم BoxPwnr نماذج اللغة الكبيرة (أو عملاء CLI مثل Claude Code وCodex وGrok وCursor) لحل أهداف CTF / المختبرات بشكل مستقل عبر عملية تكرارية:
--executor docker)single_loop_*):claude_code, codex, grok, cursor-cli, kiro_cli) تشغّل حلقة الوكيل الخاصة بها وتبث النتائج مرة أخرى إلى BoxPwnrاستنسخ المستودع مع الوحدات الفرعية ```bash git clone --recurse-submodules https://github.com/0ca/BoxPwnr cd BoxPwnr
curl -LsSf https://astral.sh/uv/install.sh | sh
uv sync
2. Docker
- يتطلب BoxPwnr تثبيت Docker وتشغيله
- يمكن العثور على تعليمات التثبيت على: [https://docs.docker.com/get-docker/](https://docs.docker.com/get-docker/)
### تشغيل BoxPwnr```bash
uv run boxpwnr --platform htb --target meow [options]
في أول تشغيل، سيُطلب منك أي مفاتيح API مطلوبة. تُحفظ المفاتيح في .env للاستخدام مستقبلًا. أدوات الحل عبر CLI (Claude Code, Codex, Grok, Cursor, Kiro) تستخدم تفويض الاشتراك الخاص بها بدلاً من مفاتيح API (أو بالإضافة إليها).
--platform: المنصة المطلوب استخدامها (htb, htb_ctf, htb_challenges, portswigger, ctfd, local, xbow, hackbench, cybench, cybergym, exploitbench, picoctf, tryhackme, levelupctf, argus)--target: اسم الهدف (مثل: meow لجهاز HTB، و"SQL injection UNION attack" لمختبر PortSwigger، أو XBEN-060-24 لمعيار XBOW)--debug: تفعيل التسجيل المفصّل (يعرض أسماء الأدوات وأوصافها)--debug-langchain: تفعيل وضع تصحيح LangChain (يعرض طلبات HTTP كاملة مع مخططات الأدوات، وتتبعات LangChain، وحمولات API الخام - شديد التفصيل)--max-turns: الحد الأقصى لعدد الجولات قبل التوقف (مثل: --max-turns 10)--max-cost: الحد الأقصى للتكلفة بالدولار الأمريكي قبل التوقف (مثل: --max-cost 2.0)--max-time: الحد الأقصى للوقت بالدقائق لكل محاولة (مثل: --max-time 60)--attempts: عدد محاولات حل الهدف (مثل: --attempts 5 لمعايير pass@5)--default-execution-timeout: المهلة الافتراضية لتنفيذ الأوامر بالثواني (الافتراضي: 30)--max-execution-timeout: الحد الأقصى لمهلة تنفيذ الأوامر بالثواني (الافتراضي: 300)--custom-instructions: تعليمات مخصصة إضافية تُلحق بموجه النظام--keep-target: إبقاء الهدف (جهاز/مختبر) قيد التشغيل بعد الاكتمال (مفيد للمتابعة اليدوية)