
إطار عمل لتدريب وكلاء الأمن السيبراني القائمين على نماذج اللغة الكبيرة (LLM) دون بيئات تشغيل، مع توليد مسارات حل تحديات CTF عبر محاكاة مدفوعة بالشخصيات، وتقييمها على InterCode-CTF وNYU CTF Bench وCybench.
🧐 نظرة عامة | 🏆 مجموعة المعايير | 🚀 البدء السريع | 🏗️ البنية | ⚙️ الإعدادات | 📊 التوليد | 📝 التحقق | 📝 واجهة سطر الأوامر | 📝 الاستشهاد
Cyber-Zero هو إطار عمل شامل لتدريب وكلاء الأمن السيبراني دون الحاجة إلى بيئات تنفيذ وقت التشغيل.
حققت النماذج اللغوية الكبيرة (LLMs) نجاحًا ملحوظًا في مهام هندسة البرمجيات عند تدريبها باستخدام بيئات وقت تشغيل قابلة للتنفيذ، إلا أن مثل هذه البيئات غالبًا ما تكون غير متاحة في مجالات الأمن السيبراني حيث تكون إعدادات التحديات وسياقات التنفيذ مؤقتة أو مقيّدة. يعالج Cyber-Zero هذا القيد الجوهري من خلال الاستفادة من كتابات CTF المتاحة للعموم (writeups) وتوظيف محاكاة LLM المدفوعة بالشخصيات (persona-driven) لعكس هندسة سلوكيات وقت التشغيل وتوليد تسلسلات تفاعل واقعية طويلة الأمد دون بيئات تنفيذ فعلية.
يتمثل الابتكار الأساسي في توليد مسارات تدريب عالية الجودة عبر محاكاة LLM بدلًا من اشتراط بيئات تنفيذ فعلية، مما يجعلها قابلة للتوسع وعملية لتدريب وكلاء الأمن السيبراني. وباستخدام المسارات المُصنَّعة بواسطة Cyber-Zero، ندرّب وكلاء قائمين على LLM يحققون مكاسب أداء مطلقة تصل إلى 13.1% مقارنة بالنماذج الأساسية على ثلاثة معايير CTF بارزة: InterCode-CTF وNYU CTF Bench وCybench.
لإتاحة تقييم وكلاء الأمن السيبراني للجميع، نوفّر ثلاث مجموعات معايير مُصلَّحة ومُكيَّفة لـ EnIGMA+ في Cyber-Zero:
أُعيد تنسيق جميع المعايير لتتبع مواصفات EnIGMA وEnIGMA+، بحيث يتضمن كل تحدٍّ ملف challenge.json وملف docker-compose.yml (عند الحاجة).
تعالج مجموعة المعايير لدينا عدة مشكلات تم رصدها في المعايير الأصلية، وتوفّر نسخًا مُصلَّحة لتقييم موثوق. للحصول على معلومات مفصّلة حول الإصلاحات والتحسينات المحددة، راجع benchmarks/README.md.
لتسهيل تطوير وكلاء الأمن السيبراني، نقدّم EnIGMA+، وهو هيكل وكيل مُحسَّن مبني على EnIGMA يشغّل مئات تحديات CTF في ساعات بدلًا من أيام. بُني EnIGMA+ فوق SWE-agent.
باستخدام EnIGMA+، يحقق نموذجنا الأفضل، Cyber-Zero-32B، أداءً متطورًا جديدًا بين النماذج المفتوحة الأوزان، ليماثل قدرات الأنظمة الاحتكارية مثل DeepSeek-V3-0324 وClaude-3.5-Sonnet مع تقديم فعالية تكلفة فائقة، مما يُظهر أن توليف المسارات دون وقت التشغيل يمكن أن يُدمقر تطوير وكلاء الأمن السيبراني المتطورين بفعالية.
للحصول على معلومات مفصلة حول EnIGMA+، بما في ذلك التثبيت والتكوين وتعليمات الاستخدام، يُرجى مراجعة README في مجلد enigma-plus.
# Install dependencies
pip install -r requirements.txt
# Install the package
pip install -e .
# Using the CLI
cyber-zero generate \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the direct script interface
python generate_trajectory.py \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the CLI
cyber-zero evaluate \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the direct script interface
python evaluate_quality.py \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the CLI
cyber-zero reformat \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
# Using the direct script interface
python reformat_trajectories.py \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
تتبع البنية التحتية للعمل إطارًا معياريًا من Cyber-Zero:
cyber_zero/
├── __init__.py # Package initialization
├── config.py # Configuration management
├── models.py # Data models (TaskMeta, TrajectoryData, etc.)
├── utils.py # Common utilities
├── validation.py # Response and command validation
├── llm_client.py # LLM interaction and quality evaluation
├── trajectory_generator.py # Main trajectory generation logic
├── quality_evaluator.py # Quality evaluation for trajectories
├── trajectory_reformatter.py # Trajectory reformatting for training
├── cli.py # Command-line interface
├── prompts/ # System prompts
│ ├── __init__.py
│ ├── assistant_turn_prompt.txt # Assistant (CTF player) prompt
│ └── user_turn_prompt.txt # User (system/environment) prompt
└── data_collection/ # Data collection utilities
├── __init__.py # Package initialization
├── config.py # Data collection configuration
├── scraper.py # Shared web scraping utilities
└── README.md # Data collection documentation
يستخدم الإطار نظام إعدادات هرميًا مع إدارة مركزية للنماذج:
from cyber_zero import Config
config = Config()
config.MAX_TURNS = 60 # Maximum conversation turns (30 paired turns)
config.DEFAULT_WORKERS = 16 # Number of parallel workers
يدعم الإطار عدة مزوّدي LLM عبر litellm. النموذج الافتراضي هو DeepSeek-V3-0324 كما هو محدد في ورقة البحث:
# Get available models
from cyber_zero.config import Config
config = Config()
print(config.models.MODEL_MAPPINGS)
# {'deepseek-v3-0324': 'deepseek-ai/DeepSeek-V3-0324', ...}
# Use a specific model
model_id = config.models.get_model_id("deepseek-v3-0324")
لإضافة نماذج مخصصة لتوليد المسارات، قم بتحديث تعيينات النماذج في cyber_zero/config.py: