
Фреймворк для обучения LLM-агентов в области кибербезопасности без сред выполнения, синтезирующий траектории решения CTF-задач посредством симуляции на основе персон и оценивающий их на InterCode-CTF, NYU CTF Bench и Cybench.
🧐 Обзор | 🏆 Набор бенчмарков | 🚀 Быстрый старт | 🏗️ Архитектура | ⚙️ Конфигурация | 📊 Генерация | 📝 Валидация | 📝 Интерфейс CLI | 📝 Цитирование
Cyber-Zero — это комплексная платформа для обучения агентов кибербезопасности без необходимости в средах выполнения.
Большие языковые модели (LLM) достигли значительных успехов в задачах программной инженерии при обучении с исполняемыми средами выполнения, однако такие среды часто недоступны в области кибербезопасности, где конфигурации задач и контексты выполнения являются эфемерными или ограниченными. Cyber-Zero решает это фундаментальное ограничение, используя общедоступные разборы CTF (writeups) и применяя управляемую персонами симуляцию LLM для обратного проектирования поведения среды выполнения и генерации реалистичных длинных последовательностей взаимодействия без фактических сред выполнения.
Ключевая инновация заключается в генерации высококачественных обучающих траекторий посредством симуляции LLM вместо требования фактических сред выполнения, что делает подход масштабируемым и практичным для обучения агентов кибербезопасности. Используя траектории, синтезированные Cyber-Zero, мы обучаем агентов на основе LLM, которые достигают до 13,1% абсолютного прироста производительности по сравнению с базовыми моделями на трёх известных бенчмарках CTF: InterCode-CTF, NYU CTF Bench и Cybench.
Чтобы демократизировать оценку агентов кибербезопасности, мы предоставляем три исправленных набора бенчмарков, адаптированных для EnIGMA+ в Cyber-Zero:
Все бенчмарки были переформатированы в соответствии со спецификацией EnIGMA и EnIGMA+, причём каждая задача включает файл challenge.json и файл docker-compose.yml (при необходимости).
Наш набор бенчмарков устраняет ряд проблем, выявленных в оригинальных бенчмарках, предоставляя исправленные версии для надёжной оценки. Подробную информацию о конкретных исправлениях и улучшениях см. в benchmarks/README.md.
Чтобы облегчить разработку агентов кибербезопасности, мы представляем EnIGMA+ — усовершенствованный каркас агента на основе EnIGMA, который выполняет сотни задач CTF за часы, а не за дни. EnIGMA+ построен на основе SWE-agent.
Используя EnIGMA+, наша лучшая модель, Cyber-Zero-32B, устанавливает новый уровень передовых результатов среди моделей с открытыми весами, соответствуя возможностям проприетарных систем, таких как DeepSeek-V3-0324 и Claude-3.5-Sonnet, при этом обеспечивая превосходную экономическую эффективность, что демонстрирует, что синтез траекторий без выполнения может эффективно демократизировать разработку передовых агентов кибербезопасности.
Для получения подробной информации об EnIGMA+, включая установку, настройку и инструкции по использованию, пожалуйста, ознакомьтесь с README в папке enigma-plus.
# Install dependencies
pip install -r requirements.txt
# Install the package
pip install -e .
# Using the CLI
cyber-zero generate \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the direct script interface
python generate_trajectory.py \
--sampled_flags_path task_meta.jsonl \
--output_path trajectories.jsonl \
--trajectories_per_task 3 \
--workers 16
# Using the CLI
cyber-zero evaluate \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the direct script interface
python evaluate_quality.py \
--input_path trajectories.jsonl \
--output_path quality_results.jsonl \
--model_id deepseek-v3-0324
# Using the CLI
cyber-zero reformat \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
# Using the direct script interface
python reformat_trajectories.py \
--input_path quality_results.jsonl \
--output_path formatted_trajectories.jsonl \
--split_output
Фреймворк следует модульной архитектуре Cyber-Zero:
cyber_zero/
├── __init__.py # Package initialization
├── config.py # Configuration management
├── models.py # Data models (TaskMeta, TrajectoryData, etc.)
├── utils.py # Common utilities
├── validation.py # Response and command validation
├── llm_client.py # LLM interaction and quality evaluation
├── trajectory_generator.py # Main trajectory generation logic
├── quality_evaluator.py # Quality evaluation for trajectories
├── trajectory_reformatter.py # Trajectory reformatting for training
├── cli.py # Command-line interface
├── prompts/ # System prompts
│ ├── __init__.py
│ ├── assistant_turn_prompt.txt # Assistant (CTF player) prompt
│ └── user_turn_prompt.txt # User (system/environment) prompt
└── data_collection/ # Data collection utilities
├── __init__.py # Package initialization
├── config.py # Data collection configuration
├── scraper.py # Shared web scraping utilities
└── README.md # Data collection documentation
Фреймворк использует иерархическую систему конфигурации с централизованным управлением моделями:
from cyber_zero import Config