
Framework para treinar agentes de cibersegurança baseados em LLM sem ambientes de execução, sintetizando trajetórias de resolução de CTF por meio de simulação orientada por personas e avaliando no InterCode-CTF, NYU CTF Bench e Cybench.
🧐 Visão Geral | 🏆 Conjunto de Benchmarks | 🚀 Início Rápido | 🏗️ Arquitetura | ⚙️ Configuração | 📊 Geração | 📝 Validação | 📝 Interface CLI | 📝 Citação
Cyber-Zero é um framework abrangente para treinar agentes de cibersegurança sem exigir ambientes de execução em runtime.
Modelos de Linguagem de Grande Porte (LLMs) alcançaram sucesso notável em tarefas de engenharia de software quando treinados com ambientes de execução executáveis; no entanto, tais ambientes frequentemente não estão disponíveis em domínios de cibersegurança, onde as configurações de desafios e os contextos de execução são efêmeros ou restritos. O Cyber-Zero aborda essa limitação fundamental aproveitando writeups de CTF disponíveis publicamente e empregando simulação de LLM orientada por personas para engenharia reversa de comportamentos em runtime e gerar sequências de interação realistas e de longo horizonte sem ambientes de execução reais.
A inovação principal é gerar trajetórias de treinamento de alta qualidade por meio de simulação de LLM em vez de exigir ambientes de execução reais, tornando-o escalável e prático para treinar agentes de cibersegurança. Usando trajetórias sintetizadas pelo Cyber-Zero, treinamos agentes baseados em LLM que alcançam até 13,1% de ganhos absolutos de desempenho sobre modelos de linha de base em três benchmarks proeminentes de CTF: InterCode-CTF, NYU CTF Bench e Cybench.
Para democratizar a avaliação de agentes de cibersegurança, fornecemos três conjuntos de benchmarks reparados e adaptados para o EnIGMA+ no Cyber-Zero:
Todos os benchmarks foram reformatados para seguir a especificação EnIGMA e EnIGMA+, com cada desafio incluindo um arquivo challenge.json e um arquivo docker-compose.yml (quando necessário).
Nosso conjunto de benchmarks aborda vários problemas identificados nos benchmarks originais, fornecendo versões reparadas para uma avaliação confiável. Para informações detalhadas sobre reparos e melhorias específicas, consulte o benchmarks/README.md.
Para facilitar o desenvolvimento de agentes de cibersegurança, apresentamos o EnIGMA+, um scaffolding de agente aprimorado do EnIGMA que executa centenas de desafios de CTF em horas em vez de dias. O EnIGMA+ é construído sobre o SWE-agent.
Usando o EnIGMA+, nosso melhor modelo, o Cyber-Zero-32B, estabelece um novo estado da arte entre os modelos de pesos abertos, igualando as capacidades de sistemas proprietários como DeepSeek-V3-0324 e Claude-3.5-Sonnet, ao mesmo tempo que oferece uma relação custo-benefício superior, demonstrando que a síntese de trajetórias sem execução em tempo de execução pode efetivamente democratizar o desenvolvimento de agentes de cibersegurança de última geração.
Para informações detalhadas sobre o EnIGMA+, incluindo instalação, configuração e instruções de uso, consulte o README na pasta enigma-plus.
# Install dependencies
pip install -r requirements.txt
# Install the package
pip install -e .
# Using the CLI
cyber-zero generate \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the direct script interface
python generate_trajectory.py \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the CLI
cyber-zero evaluate \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the direct script interface
python evaluate_quality.py \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the CLI
cyber-zero reformat \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
# Using the direct script interface
python reformat_trajectories.py \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
O framework segue uma arquitetura modular do Cyber-Zero:
cyber_zero/
├── __init__.py # Package initialization
├── config.py # Configuration management
├── models.py # Data models (TaskMeta, TrajectoryData, etc.)
├── utils.py # Common utilities
├── validation.py # Response and command validation
├── llm_client.py # LLM interaction and quality evaluation
├── trajectory_generator.py # Main trajectory generation logic
├── quality_evaluator.py # Quality evaluation for trajectories
├── trajectory_reformatter.py # Trajectory reformatting for training
├── cli.py # Command-line interface
├── prompts/ # System prompts
│ ├── __init__.py
│ ├── assistant_turn_prompt.txt # Assistant (CTF player) prompt
│ └── user_turn_prompt.txt # User (system/environment) prompt
└── data_collection/ # Data collection utilities
├── __init__.py # Package initialization
├── config.py # Data collection configuration
├── scraper.py # Shared web scraping utilities
└── README.md # Data collection documentation