
Framework zum Trainieren von LLM-Cybersicherheitsagenten ohne Laufzeitumgebungen, zur Synthese von CTF-Lösungstrajektorien durch personengetriebene Simulation und zur Evaluierung auf InterCode-CTF, NYU CTF Bench und Cybench.
🧐 Überblick | 🏆 Benchmark-Suite | 🚀 Schnellstart | 🏗️ Architektur | ⚙️ Konfiguration | 📊 Generierung | 📝 Validierung | 📝 CLI-Schnittstelle | 📝 Zitation
Cyber-Zero ist ein umfassendes Framework zum Training von Cybersicherheits-Agenten, das keine Laufzeit-Ausführungsumgebungen erfordert.
Large Language Models (LLMs) haben bei Software-Engineering-Aufgaben bemerkenswerte Erfolge erzielt, wenn sie mit ausführbaren Laufzeitumgebungen trainiert wurden. Solche Umgebungen sind jedoch in Cybersicherheitsdomänen oft nicht verfügbar, in denen Challenge-Konfigurationen und Ausführungskontexte flüchtig oder eingeschränkt sind. Cyber-Zero adressiert diese grundlegende Einschränkung, indem es öffentlich verfügbare CTF-Writeups nutzt und personengetriebene LLM-Simulation einsetzt, um Laufzeitverhalten nachzubilden und realistische, langfristige Interaktionssequenzen ohne tatsächliche Ausführungsumgebungen zu generieren.
Die zentrale Innovation besteht darin, hochwertige Trainings-Trajektorien durch LLM-Simulation zu erzeugen, anstatt tatsächliche Ausführungsumgebungen zu benötigen, was es skalierbar und praktisch für das Training von Cybersicherheits-Agenten macht. Unter Verwendung der von Cyber-Zero synthetisierten Trajektorien trainieren wir LLM-basierte Agenten, die bis zu 13,1 % absolute Leistungssteigerungen gegenüber Basismodellen bei drei prominenten CTF-Benchmarks erzielen: InterCode-CTF, NYU CTF Bench und Cybench.
Um die Evaluierung von Cybersicherheits-Agenten zu demokratisieren, stellen wir drei reparierte Benchmark-Suiten bereit, die für EnIGMA+ in Cyber-Zero angepasst wurden:
Alle Benchmarks wurden neu formatiert, um der EnIGMA- und EnIGMA+-Spezifikation zu folgen, wobei jede Challenge eine challenge.json-Datei und eine docker-compose.yml-Datei (falls erforderlich) enthält.
Unsere Benchmark-Suite adressiert mehrere in den ursprünglichen Benchmarks identifizierte Probleme und bietet reparierte Versionen für eine zuverlässige Evaluierung. Detaillierte Informationen zu spezifischen Reparaturen und Verbesserungen finden Sie in der benchmarks/README.md.
Um die Entwicklung von Cybersicherheits-Agenten zu erleichtern, präsentieren wir EnIGMA+, ein erweitertes Agenten-Gerüst von EnIGMA, das Hunderte von CTF-Challenges in Stunden statt in Tagen ausführt. EnIGMA+ baut auf SWE-agent auf.
Mit EnIGMA+, unserem besten Modell, etabliert Cyber-Zero-32B eine neue State-of-the-Art-Leistung unter den Open-Weight-Modellen und erreicht die Fähigkeiten proprietärer Systeme wie DeepSeek-V3-0324 und Claude-3.5-Sonnet bei gleichzeitig überlegener Kosteneffizienz. Dies zeigt, dass die laufzeitfreie Trajektoriensynthese die Entwicklung modernster Cybersicherheitsagenten wirksam demokratisieren kann.
Detaillierte Informationen zu EnIGMA+, einschließlich Installation, Konfiguration und Nutzungshinweisen, finden Sie in der README im Ordner enigma-plus.
# Install dependencies
pip install -r requirements.txt
# Install the package
pip install -e .
# Using the CLI
cyber-zero generate \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the direct script interface
python generate_trajectory.py \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the CLI
cyber-zero evaluate \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the direct script interface
python evaluate_quality.py \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the CLI
cyber-zero reformat \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
# Using the direct script interface
python reformat_trajectories.py \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
Das Framework folgt einer modularen Architektur von Cyber-Zero:
cyber_zero/
├── __init__.py # Package initialization
├── config.py # Configuration management
├── models.py # Data models (TaskMeta, TrajectoryData, etc.)
├── utils.py # Common utilities
├── validation.py # Response and command validation
├── llm_client.py # LLM interaction and quality evaluation
├── trajectory_generator.py # Main trajectory generation logic
├── quality_evaluator.py # Quality evaluation for trajectories
├── trajectory_reformatter.py # Trajectory reformatting for training
├── cli.py # Command-line interface
├── prompts/ # System prompts
│ ├── __init__.py
│ ├── assistant_turn_prompt.txt # Assistant (CTF player) prompt
│ └── user_turn_prompt.txt # User (system/environment) prompt
└── data_collection/ # Data collection utilities
├── __init__.py # Package initialization
├── config.py # Data collection configuration
├── scraper.py # Shared web scraping utilities
└── README.md # Data collection documentation