
Framework pour entraîner des agents LLM en cybersécurité sans environnements d'exécution, synthétisant des trajectoires de résolution de CTF via une simulation pilotée par personas et évaluant sur InterCode-CTF, NYU CTF Bench et Cybench.
🧐 Vue d'ensemble | 🏆 Suite de benchmarks | 🚀 Démarrage rapide | 🏗️ Architecture | ⚙️ Configuration | 📊 Génération | 📝 Validation | 📝 Interface CLI | 📝 Citation
Cyber-Zero est un framework complet pour entraîner des agents de cybersécurité sans nécessiter d'environnements d'exécution.
Les grands modèles de langage (LLM) ont obtenu des succès remarquables dans les tâches d'ingénierie logicielle lorsqu'ils sont entraînés avec des environnements d'exécution exécutables ; de tels environnements sont souvent indisponibles dans les domaines de la cybersécurité, où les configurations de défis et les contextes d'exécution sont éphémères ou restreints. Cyber-Zero répond à cette limitation fondamentale en s'appuyant sur les writeups CTF disponibles publiquement et en employant une simulation LLM pilotée par des personas pour reconstituer les comportements d'exécution et générer des séquences d'interaction réalistes et de long terme sans environnements d'exécution réels.
L'innovation clé consiste à générer des trajectoires d'entraînement de haute qualité par simulation LLM plutôt que de nécessiter des environnements d'exécution réels, ce qui le rend scalable et pratique pour entraîner des agents de cybersécurité. À l'aide des trajectoires synthétisées par Cyber-Zero, nous entraînons des agents basés sur des LLM qui atteignent jusqu'à 13,1 % de gains de performance absolus par rapport aux modèles de référence sur trois benchmarks CTF de premier plan : InterCode-CTF, NYU CTF Bench et Cybench.
Pour démocratiser l'évaluation des agents de cybersécurité, nous fournissons trois suites de benchmarks réparées et adaptées pour EnIGMA+ dans Cyber-Zero :
Tous les benchmarks ont été reformatés pour suivre la spécification EnIGMA et EnIGMA+, chaque défi incluant un fichier challenge.json et un fichier docker-compose.yml (lorsque nécessaire).
Notre suite de benchmarks corrige plusieurs problèmes identifiés dans les benchmarks originaux, en fournissant des versions réparées pour une évaluation fiable. Pour des informations détaillées sur les réparations et améliorations spécifiques, consultez le benchmarks/README.md.
Pour faciliter le développement d'agents de cybersécurité, nous présentons EnIGMA+, un échafaudage d'agent amélioré de EnIGMA qui exécute des centaines de défis CTF en quelques heures au lieu de jours. EnIGMA+ est construit sur SWE-agent.
En utilisant EnIGMA+, notre meilleur modèle, Cyber-Zero-32B, établit de nouvelles performances de pointe parmi les modèles à poids ouverts, égalant les capacités de systèmes propriétaires comme DeepSeek-V3-0324 et Claude-3.5-Sonnet tout en offrant une rentabilité supérieure, démontrant ainsi que la synthèse de trajectoires sans exécution peut effectivement démocratiser le développement d'agents de cybersécurité de pointe.
Pour des informations détaillées sur EnIGMA+, y compris l'installation, la configuration et les instructions d'utilisation, veuillez consulter le README dans le dossier enigma-plus.
# Install dependencies
pip install -r requirements.txt
# Install the package
pip install -e .
# Using the CLI
cyber-zero generate \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the direct script interface
python generate_trajectory.py \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the CLI
cyber-zero evaluate \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the direct script interface
python evaluate_quality.py \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the CLI
cyber-zero reformat \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
# Using the direct script interface
python reformat_trajectories.py \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
Le framework suit une architecture modulaire de Cyber-Zero :
cyber_zero/
├── __init__.py # Package initialization
├── config.py # Configuration management
├── models.py # Data models (TaskMeta, TrajectoryData, etc.)
├── utils.py # Common utilities
├── validation.py # Response and command validation
├── llm_client.py # LLM interaction and quality evaluation
├── trajectory_generator.py # Main trajectory generation logic
├── quality_evaluator.py # Quality evaluation for trajectories
├── trajectory_reformatter.py # Trajectory reformatting for training
├── cli.py # Command-line interface
├── prompts/ # System prompts
│ ├── __init__.py
│ ├── assistant_turn_prompt.txt # Assistant (CTF player) prompt
│ └── user_turn_prompt.txt # User (system/environment) prompt
└── data_collection/ # Data collection utilities
├── __init__.py # Package initialization
├── config.py # Data collection configuration
├── scraper.py # Shared web scraping utilities
└── README.md # Data collection documentation