DeepZero

自动化漏洞研究流水线引擎

使用 YAML 定义流水线。DeepZero 负责编排、并行计算、容错处理以及状态管理。

• 🔗 基于 YAML 的流水线 - 声明式串联数据摄取、过滤、转换和 LLM 评估阶段
• ⚡ 并行执行 - 支持每个阶段可配置并发数的 ThreadPoolExecutor
• 💾 可恢复的运行状态 - 将每个样本的原子状态保存在磁盘上；按 Ctrl+C 中断后，再次运行即可从中断处恢复
• 🤖 LLM 集成 - 结合 Jinja2 提示词模板，通过 LiteLLM 支持任意大语言模型
• 🌐 REST API (正在开发中) - 通过 HTTP 查询运行状态和样本数据（目前处于实验阶段，尚未完成）
• 🧩 高可扩展性 - 将自定义处理器编写为 Python 类，并在 YAML 中通过路径引用它们

📚 官方文档

DeepZero 提供了全面详细的文档，涵盖架构设计、流水线 Schema、命令行参考指南以及自定义处理器开发。

👉 点击阅读官方文档（英文）

⚡️ 快速开始

DeepZero 需要一个待分析的语料库文件目录，以及一份用于说明如何处理这些文件的流水线配置文件。

1. 克隆并安装 (要求 Python 3.11+)

   root@kitploit:~

   git clone https://github.com/416rehman/DeepZero.git
   cd DeepZero
   pip install -e .
   

2. 配置环境

   root@kitploit:~

   cp .env.example .env
   

3. 运行一条流水线

   root@kitploit:~

   deepzero run C:\drivers -p .\pipelines\loldrivers\pipeline.yaml
   

有关详细的设置说明和示例语料库，请参阅快速开始文档。

📁 仓库目录结构

src/deepzero/
├── api/                 # REST API (starlette)
├── engine/              # 编排、状态持久化、流水线执行
└── stages/              # 内置处理器 (map, reduce, ingest)

processors/              # 外部处理器 (作为示例提供)
├── ghidra_decompile/    # ghidra 无头反编译器 (MapProcessor)
├── loldrivers_filter/   # loldrivers.io 哈希排除过滤器 (MapProcessor)
├── pe_ingest/           # PE 头部解析及驱动程序元数据提取器 (IngestProcessor)
└── semgrep_scanner/     # semgrep 批量扫描器 (BulkMapProcessor)

pipelines/
└── loldrivers/          # BYOVD 内核驱动程序漏洞研究流水线
    ├── pipeline.yaml
    ├── assessment.j2    # LLM 提示词模板
    └── rules/           # semgrep 规则

docs/                    # 基于 Jekyll 的 GitHub Pages 官方文档
tests/                   # pytest 测试套件

🤝 参与贡献

CI 会在 GitHub Actions 上通过 Python 3.11 和 3.12 运行。

提交代码之前，请运行代码格式化和安全检查：

ruff check . && ruff format --check . && bandit -ll -ii -c pyproject.toml -r .

在提交 Pull Request 之前，请阅读贡献指南和行为准则。

📄 开源协议

DeepZero 基于 MIT 协议 开源。