
Framework per addestrare agenti LLM di cybersecurity senza ambienti di runtime, sintetizzando traiettorie di risoluzione CTF tramite simulazione guidata da persona e valutando su InterCode-CTF, NYU CTF Bench e Cybench.
🧐 Panoramica | 🏆 Suite di Benchmark | 🚀 Avvio Rapido | 🏗️ Architettura | ⚙️ Configurazione | 📊 Generazione | 📝 Validazione | 📝 Interfaccia CLI | 📝 Citazione
Cyber-Zero è un framework completo per l'addestramento di agenti di cybersecurity senza richiedere ambienti di esecuzione runtime.
I Large Language Models (LLM) hanno ottenuto un notevole successo nei compiti di ingegneria del software quando addestrati con ambienti di esecuzione runtime; tuttavia, tali ambienti sono spesso indisponibili nei domini della cybersecurity, dove le configurazioni delle sfide e i contesti di esecuzione sono effimeri o limitati. Cyber-Zero affronta questo limite fondamentale sfruttando i writeup CTF pubblicamente disponibili e impiegando la simulazione LLM guidata da persona per ricostruire a ritroso i comportamenti runtime e generare sequenze di interazione realistiche e a lungo orizzonte senza ambienti di esecuzione reali.
L'innovazione chiave consiste nel generare traiettorie di addestramento di alta qualità tramite simulazione LLM anziché richiedere ambienti di esecuzione reali, rendendolo scalabile e pratico per l'addestramento di agenti di cybersecurity. Utilizzando le traiettorie sintetizzate da Cyber-Zero, addestriamo agenti basati su LLM che raggiungono fino a guadagni di prestazioni assoluti del 13,1% rispetto ai modelli di riferimento su tre importanti benchmark CTF: InterCode-CTF, NYU CTF Bench e Cybench.
Per democratizzare la valutazione degli agenti di cybersecurity, forniamo tre suite di benchmark riparate e adattate per EnIGMA+ in Cyber-Zero:
Tutti i benchmark sono stati riformattati per seguire la specifica EnIGMA e EnIGMA+, con ogni sfida che include un file challenge.json e un file docker-compose.yml (quando necessario).
La nostra suite di benchmark affronta diversi problemi identificati nei benchmark originali, fornendo versioni riparate per una valutazione affidabile. Per informazioni dettagliate sulle riparazioni e i miglioramenti specifici, consulta benchmarks/README.md.
Per facilitare lo sviluppo di agenti di cybersecurity, presentiamo EnIGMA+, uno scaffolding di agente migliorato di EnIGMA che esegue centinaia di sfide CTF in ore invece che in giorni. EnIGMA+ è costruito sopra SWE-agent.
Usando EnIGMA+, il nostro modello migliore, Cyber-Zero-32B, stabilisce nuove prestazioni all'avanguardia tra i modelli open-weight, eguagliando le capacità di sistemi proprietari come DeepSeek-V3-0324 e Claude-3.5-Sonnet offrendo al contempo una superiore convenienza in termini di costi, dimostrando che la sintesi di traiettorie senza runtime può democratizzare efficacemente lo sviluppo di agenti di cybersecurity all'avanguardia.
Per informazioni dettagliate su EnIGMA+, inclusi installazione, configurazione e istruzioni d'uso, consulta il README nella cartella enigma-plus.
# Install dependencies
pip install -r requirements.txt
# Install the package
pip install -e .
# Using the CLI
cyber-zero generate \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the direct script interface
python generate_trajectory.py \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the CLI
cyber-zero evaluate \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the direct script interface
python evaluate_quality.py \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the CLI
cyber-zero reformat \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
# Using the direct script interface
python reformat_trajectories.py \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
Il framework segue un'architettura modulare di Cyber-Zero:
cyber_zero/
├── __init__.py # Package initialization
├── config.py # Configuration management
├── models.py # Data models (TaskMeta, TrajectoryData, etc.)
├── utils.py # Common utilities
├── validation.py # Response and command validation
├── llm_client.py # LLM interaction and quality evaluation
├── trajectory_generator.py # Main trajectory generation logic
├── quality_evaluator.py # Quality evaluation for trajectories
├── trajectory_reformatter.py # Trajectory reformatting for training
├── cli.py # Command-line interface
├── prompts/ # System prompts
│ ├── __init__.py
│ ├── assistant_turn_prompt.txt # Assistant (CTF player) prompt
│ └── user_turn_prompt.txt # User (system/environment) prompt
└── data_collection/ # Data collection utilities
├── __init__.py # Package initialization
├── config.py # Data collection configuration
├── scraper.py # Shared web scraping utilities
└── README.md # Data collection documentation