OmniScan 综合漏洞扫描器

OmniScan 是一款基于 Python 的轻量级、多引擎漏洞扫描器，专为红队操作和安全研究设计。它不仅集成了轻量级 Nuclei 引擎 (Lite) 和 Afrog 引擎，还提供了强大的资产收集和结果管理功能。

核心特性

1. 多引擎支持

• Nuclei Lite 引擎 (内置):
  • 基于 Python 原生实现的 Nuclei 核心逻辑，无需依赖 Go 环境。
  • 安全增强: 使用 simpleeval 替代 eval，并在沙箱环境中执行 DSL 表达式，防止恶意模板执行代码。
  • 智能变量生成: 自动识别并填充未定义的模板变量（如 {{lang-file}} -> etc/passwd），支持智能 Fuzzing。
  • 深度兼容:
    • 支持绝大多数 Nuclei Helper 函数（包括 hmac, gzip, reverse, rand_base 等）。
    • 支持 flow 和 req-condition 逻辑控制。
    • 支持 cookie-reuse 会话保持和 redirects 重定向控制。
  • 智能误报过滤:
    • Smart FP Reduction: 针对 200 OK 页面，智能识别并过滤仅匹配状态码但未匹配关键词的误报（Strict Mode Heuristic）。
    • WAF 识别: 自动识别 403/429 等 WAF 拦截页面，避免误报。
  • OOB 交互检测 (增强):
    • 内置 Interactsh 客户端，自动处理无回显漏洞（如 Blind RCE, SSRF）。
    • Correlation ID: 为每个请求生成唯一的关联 ID，精确匹配 OOB 交互，彻底杜绝误报。
    • 自适应等待: 智能调整 OOB 检测等待时间，平衡速度与准确性。
• Afrog 引擎: 集成 Afrog 扫描器，提供额外的漏洞检测能力。
• Nuclei 官方引擎: 支持调用系统安装的 Nuclei 二进制文件进行扫描。
• XRay 引擎: 支持调用 XRay 进行 Web 扫描。

2. 插件系统 (New)

• Python 插件扩展: 允许用户编写 Python 脚本作为扫描插件，处理复杂逻辑。
• 可视化进度: 内置 tqdm 进度条，实时展示每个插件在每个目标上的扫描进度。
• 简单易用: 只需继承 BasePlugin 类并实现 check(url) 方法即可。
• 无缝集成: 插件扫描结果自动汇入总报告，与 Nuclei 结果统一管理。
• 定向扫描: 支持指定单个或多个插件文件进行专项检测。
• 示例插件:
  • git_config.py: 检测 .git/config 泄露
  • spring_boot.py: 检测 Spring Boot Actuator
  • ds_store.py: 检测 .DS_Store 泄露
  • phpinfo.py: 检测 phpinfo() 页面
  • backup_files.py: 检测常见备份文件 (.bak, .zip 等)
  • swagger_ui.py: 检测 Swagger UI 文档

3. 资产收集

• FOFA 搜索: 集成 FOFA API，支持按语法批量搜索资产（如 country="CN"）。
• Shodan 搜索: 集成 Shodan API，支持按关键词搜索资产。
• 单个目标: 支持直接指定单个 URL 进行快速扫描。
• 本地目标加载: 支持从文本文件批量加载 URL 列表。
• 智能存活检测: 扫描前自动进行 HTTP 存活检测，过滤无效目标。
• URL 标准化: 自动补全 URL 协议（http/https）并去重。

4. 高性能异步架构与海量模板支持

• 采用 Python asyncio 和 aiohttp 框架。
• 内存优化 (NEW):
  • Lazy Loading: 模板文件按需加载，无需一次性加载所有文件。
  • Batch Processing: 支持千万级 POC 模板的批量扫描（默认每批 5000 个），彻底解决大规模扫描时的内存溢出 (OOM) 问题。
  • 自动内存回收: 每批扫描完成后自动释放内存。
• 实时进度监控: 显示详细的批次进度和百分比。
• LogFilter 系统: 自动屏蔽 "Illegal cookie name" 等非关键错误，保持输出整洁。

5. 结果管理

• 实时结果保存:
  • 每发现一个漏洞立即写入 SQLite 数据库和 CSV 文件，防止程序中断导致数据丢失。
  • 每个目标扫描完成后，自动刷新摘要统计。
• 多格式报告: 实时生成 JSON、CSV 和 HTML 格式的扫描报告。
• SQLite 数据库: 内置 SQLite 数据库，对扫描结果进行自动去重（基于 模板ID + 目标 + URL）。
• 详细摘要:
  • 扫描过程中实时输出每个目标的漏洞摘要（包含该目标的当前批次发现和累计发现总数）。
  • 进度条实时显示全局累计发现的漏洞总数。
  • 扫描结束后提供全局的漏洞统计。

6. OOB (带外) 交互检测

• 全自动闭环检测: 自动处理 Blind RCE, SSRF, Blind SQLi 等无回显漏洞。
• 内置 Interactsh Client:
  • 自动下载并管理 interactsh-client 二进制文件。（我已经上传了 interactsh-client.zip，你可以直接解压在这个目录下面）
  • 自动获取 OOB Payload URL（如 xxx.oast.pro）。
  • 实时监控 DNS/HTTP/SMTP 交互日志。
  • 零配置: 扫描器会自动将模板中的 {{interactsh-url}} 替换为实时获取的 Payload。

快速开始

环境要求

• Python 3.8+
• Linux / macOS / Windows

安装

1. 克隆仓库:

   root@kitploit:~

   git clone https://github.com/d3ckx1/OmniScan.git
   cd omniscan
   

2. 安装依赖:

   root@kitploit:~

   pip3 install -r requirements.txt
   

3. 配置工具 (可选):

   • 如果使用 Afrog 或 XRay，请确保相应的可执行文件在项目根目录或系统路径中。
   • 配置 config.yml (可选) 设置 API Key 和扫描参数。

使用示例

1. 单个目标扫描

扫描单个 URL：

python3 omniscan.py -u http://example.com --tool lite -T ./templates/cve/

2. 资产收集与扫描 (FOFA)

从 FOFA 搜索资产并使用 Nuclei Lite 引擎扫描：

python3 omniscan.py -f 'app="SpringBoot"' --tool lite -T ./templates/spring-boot/

3. 本地批量扫描

从 urls.txt 读取目标并扫描：

python3 omniscan.py -l urls.txt --tool lite -T ./templates/cve/

4. 指定扫描工具

• Nuclei Lite: python3 omniscan.py -l urls.txt --tool lite -T ./templates/
• Afrog: python3 omniscan.py -l urls.txt --tool afrog
• XRay: python3 omniscan.py -l urls.txt --tool xray

5. 交互式模式

不带 --tool 参数运行，将进入交互菜单选择工具：

python3 omniscan.py -l urls.txt

6. OOB 漏洞检测

扫描 Blind RCE 漏洞（自动启用 Interactsh）：

python3 omniscan.py -l urls.txt --tool lite -T ./templates/blind-rce.yaml

如果检测到 OOB 交互，控制台将输出 [OOB DETECTED] 并记录漏洞。

8. 启用 Python 插件扫描

使用 Nuclei Lite 引擎并启用所有插件：

python3 omniscan.py -l urls.txt --tool lite -T ./templates/ --plugins

9. 运行特定插件 (专项扫描)

仅运行 Git Config 和 PHPInfo 插件：

python3 omniscan.py -l urls.txt --tool lite -T ./templates/ --plugin-file plugins/git_config.py,plugins/phpinfo.py

10. 仅分类/验证模板

不进行实际扫描，仅检查模板兼容性：

python3 omniscan.py --classify-only --tool lite -T ./templates/

参数说明

配置文件 (config.yml)

app:
  lite_timeout: 10        # 请求超时 (秒)
  lite_threads: 10        # 并发线程数
  use_async: true         # 启用异步模式
  user_agents:            # 自定义 User-Agent 池
    - "Mozilla/5.0..."

fofa:
  email: "your_email"
  key: "your_key"

shodan:
  api_key: "your_key"

output:
  formats: ["json", "csv", "html"] # 报告格式

目录结构

• omniscan.py: 主程序入口，负责参数解析和任务调度。
• nuclei_lite.py: Nuclei Lite 核心引擎，实现 YAML 模板解析和扫描。
• result_manager.py: 结果管理模块，处理去重和报告生成。
• database.py: SQLite 数据库管理。
• config.py: 配置加载模块。

常见问题

Q: [OOB DETECTED] 是什么意思？ A: 这表示扫描器成功检测到了带外交互（Out-of-Band Interaction）。这通常意味着目标触发了 DNS 或 HTTP 请求回调，证明了 Blind RCE、SSRF 或 Blind SQLi 等漏洞的存在。

Q: 如何配置 FOFA/Shodan API？ A: 您可以在 config.yml 文件中填写 API Key，或者通过环境变量 FOFA_EMAIL, FOFA_KEY, SHODAN_API_KEY 设置。

Q: 支持哪些操作系统？ A: Omniscan 是跨平台的，支持 Linux, macOS 和 Windows。外部工具（如 afrog, interactsh-client）需要确保在当前系统可执行。

许可证

MIT License