ThreatSentry AI：AI 驱动的威胁狩猎工具

自动进行外部资产发现，通过多源数据智能丰富，并利用集成机器学习预测和优先处理风险。将警报疲劳转化为可操作的情报。

🚀 使命宣言

ThreatSentry AI 通过智能风险优先级排序，消除安全警报疲劳，实现主动威胁狩猎。它结合了自动化资产发现、多源数据丰富和高级机器学习，将原始安全数据转化为可操作的情报。

---

👨‍💻 作者与致谢

项目负责人： EclipseManic

开发说明： 这个全面的企业安全平台由一位开发者在 AI 开发工具的协助下（用于代码生成、优化和文档）进行架构和开发——证明了 AI 增强的软件工程在复杂系统中的可行性。

---

📋 执行摘要

现代安全团队面临着前所未有的挑战：

• 警报疲劳：每天数千条警报，信噪比使得手动分流几乎不可能
• 数据碎片化：关键上下文分散在 SIEM、CMDB、补丁系统和网络监控中
• 被动姿态：应对已知威胁而非主动搜索新风险
• 资源约束：基础设施日益复杂，预算和人员有限

ThreatSentry AI 通过以下方式解决这些问题：

1. 通过 Shodan API 自动化外部资产发现，实现持续可见性
2. 来自 NVD、内部系统和行为分析的智能多源丰富
3. 基于 ML 的风险评分，使用集成模型进行准确的威胁优先级排序
4. 面向高管的仪表盘，提供可操作的情报和快速响应
5. 主动告警，在事件发生前暴露高风险资产

---

✨ 核心功能

🤖 智能风险评分引擎

• 集成机器学习模型：结合随机森林、梯度提升和神经网络进行稳健的风险分类
• 多因素分析：评估 40 多个安全和业务属性，而不仅仅是简单的漏洞计数：
  • 时间上下文：暴露时长、补丁滞后、事件历史
  • 网络位置：关键服务状态、网段、防火墙保护
  • 行为信号：身份验证失败、流量异常、误报历史
  • 合规影响：数据敏感性、监管要求、关联的关键资产
• 置信度评分：每个预测都包含一个置信度指标（0-1），供分析人员评估可靠性
• 持续学习：模型根据可配置的时间间隔自动重新训练，并集成反馈

🌐 自动化资产发现与情报融合

• Shodan 集成：持续发现面向互联网的设备，支持高级查询
  • 常见场景的预设查询（SSL 证书、RDP 服务、ICS/Modbus 等）
  • 支持组织特定资产狩猎的自定义查询
• NVD 丰富：使用智能横幅解析自动关联 CVE
  • 支持 14 种以上产品类型的横幅服务提取（Apache、Nginx、MySQL、IIS 等）
  • CVSS 评分和严重性分类
  • 防止数据丢失：仅在发现漏洞时更新 CVE 指标
• 内部数据集成（为您的环境提供可扩展架构）：
  • CMDB 收集器：资产分类、关键性级别、合规标签
  • SIEM 收集器：行为指标、身份验证模式、异常分数
  • 补丁管理收集器：补丁更新状态、缺失更新、补丁滞后分析
  • 网络监控收集器：流量模式、DDoS 检测、异常分数
• 统一数据库：SQLite，包含 40 多个索引列，用于高效查询和报告

📊 高管仪表盘与分析工具

• 基于 PyQt5 的图形界面，支持深色/浅色主题：
  • 实时风险分布可视化（使用 Matplotlib 的条形图）
  • 可排序、可过滤的设备表格，带有颜色编码的风险指示器
  • 按组织、国家、风险级别快速过滤
  • 跨 IP、组织、国家、风险字段的自动搜索
• 交互式设备检查：
  • 详细的漏洞列表，包含 CVSS 分数
  • 漏洞时间线和历史追踪
  • 风险因素分解解释评分
• 批量操作：
  • 手动扫描触发（Shodan + NVD 丰富）
  • CSV/JSON 数据导入，带字段验证
  • 模型重新训练，附带性能指标
  • 手动告警发送以验证配置
• 分析面板（高级）：
  • 风险分布趋势
  • CVE 影响分析
  • 按组织的漏洞指标

📧 主动邮件告警

• SendGrid 集成：高风险资产自动发送 HTML 邮件通知
  • 风险标签变化（低/中 → 高）时立即触发
  • 通过“已通知”状态跟踪防止重复告警
• 丰富的告警内容：
  • 风险评分和置信度的高管摘要
  • 详细的漏洞列表（按 CVSS 排序的前 N 个）
  • 为安全团队上下文提供的风险因素分解
  • 可行的修复建议
• 灵活配置：定义告警接收人、邮件模板和触发条件

示例告警邮件

![Automated Security Alert Email Template]

通过 SendGrid 发送的 HTML 格式邮件，包含风险摘要、CVE 详情和修复指南

📈 模型透明度与持续改进

• 性能监控：
  • 训练周期中的准确率跟踪
  • 混淆矩阵和分类报告
  • 特征重要性分析，了解模型决策
  • 数据漂移检测指示器
• 反馈循环：
  • 分析人员手动修正风险标签
  • 真阳性/假阳性跟踪
  • 基于反馈的模型权重调整
  • 带元数据记录的自动重新训练计划

⚡ 性能与可靠性

• 针对规模优化：
  • 5 列以上的数据库索引，实现亚毫秒级查询
  • 频繁访问数据的结果缓存（28.7 倍加速）
  • 大数据集的分页“加载更多”（初始 50 行 + 每次 50 行增量）
  • 使用工作线程的非阻塞 UI（QThread、ThreadPoolExecutor）
• 健壮的错误处理：
  • API 故障（Shodan、NVD、SendGrid）的指数退避重试逻辑
  • 可选服务不可用时的优雅降级
  • 全面的日志记录，带文件轮换
  • 线程安全的信号/槽架构，防止竞态条件
• 内存高效：
  • 图表渲染后的垃圾回收
  • 延迟加载 UI 标签页，减少启动时间
  • 会话上下文管理器确保正确清理

---

🖼️ 视觉概览

主仪表盘

![ThreatSentry AI Dashboard - Main Threat Hunting Interface]

具有可排序设备表和风险分布条形图的实时风险可视化

设备风险评估表

![Device Table with Risk Indicators]

可排序和可过滤的设备列表，带有颜色编码的风险级别（绿色=低，黄色=中，红色=高）

高级过滤面板

![Advanced Filters - CVSS Range, Organization, Country, Risk Level]

强大的过滤控件，包含 CVSS 范围、组织、国家和风险级别过滤器，以及“清除全部”按钮

• CVSS 范围过滤器：调整最小和最大 CVSS 分数（0-10），聚焦特定严重级别
• 组织过滤器：从数据库中所有组织的下拉列表快速过滤特定组织
• 国家过滤器：按地理位置过滤，识别区域风险
• 风险级别过滤器：仅显示高、中、低或所有设备，进行重点分析
• 清除全部按钮：一键将所有过滤器重置为默认值，恢复到完整数据集
• 应用过滤器：立即应用所有选定过滤器，结果实时反映

全数据库搜索能力

![Search Input - Multi-Column Search Across Entire Database]

智能搜索，跨越整个设备数据库，不仅限于当前显示的行

• 全面搜索：搜索 IP 地址、组织名称、国家和风险级别
• 自动 IP 检测：自动检测 IP 地址格式并进行相应搜索
• 全数据库覆盖：搜索结果包含数据库中所有设备，不限于前 50 行
• 实时结果：300ms 去抖延迟，确保搜索响应快速且不影响性能
• 分页集成：搜索结果遵循分页系统，高效加载

智能分页与大数据集支持

![Load More Button - Pagination Controls]

优化分页系统，高效处理数千台设备

• 默认 50 行显示：仪表盘初始加载 50 台设备，快速渲染
• 渐进式加载：“加载更多（50 行）”按钮允许增量加载，不会超时
• 内存高效：仅显示请求的行；从不将整个数据集加载到内存
• 性能优化：非阻塞 UI，防止加载大数据集时冻结
• 状态指示器：显示“正在显示 X 个设备中的 Y 个”，提供总数据量的透明度
• 搜索集成：搜索过滤器与分页无缝协作，快速获得结果

分析与报告面板

![Analytics Tab - Risk Trends and CVE Analysis]

历史风险趋势、漏洞分析和按组织划分的安全指标

工具与配置

![Tools Tab - Model Status and Data Export]

模型训练信息、性能指标、数据导出和高级过滤选项

邮件告警通知

![Automated Security Alert Email]

HTML 格式邮件，包含高管摘要、漏洞详情和修复指南

手动扫描工作流

![Scan Trigger Dialog]

执行 Shodan + NVD 丰富操作，带有详细错误报告和进度指示

---

🛠️ 技术栈

层	技术
后端	Python 3.9+, SQLAlchemy ORM, APScheduler
机器学习/人工智能	Scikit-learn（随机森林、梯度提升、MLP）、NumPy、Joblib
前端	PyQt5、Matplotlib、自定义主题管理器
数据	Pandas、NumPy、SQLite3
API	Shodan、NVDLib、SendGrid、Requests
工具类	Python-dotenv、日志模块、配置管理

---

🏗️ 架构与数据流```

┌─────────────────────────────────────────────────────────────┐ │ ThreatSentry AI │ ├─────────────────────────────────────────────────────────────┤ │ Scheduler (APScheduler) │ ├──────────┬──────────────┬──────────────┬───────────┬─────────┤ │ │ │ │ │ │ ▼ ▼ ▼ ▼ ▼ ▼ Shodan NVD Lib CMDB SIEM Patch Network Collector Collector Collector Collector Mgmt Monitor

      │              │              │           │         │
      └──────────────┴──────────────┴───────────┴─────────┘
                       │
                       ▼
              ┌─────────────────┐
              │   SQLite DB     │
              │  (40+ Columns)  │
              └────────┬────────┘
                       │
    ┌──────────────────┼──────────────────┐
    ▼                  ▼                  ▼

Feature Engine Model Training Predictions │ │ │ └─────────┬───────┴──────────┬──────┘ ▼ ▼ ┌──────────────────────┐ │ Ensemble Model │ │ (RF + GB + MLP) │ └──────────┬───────────┘ │ ┌────────────┼────────────┐ ▼ ▼ ▼ PyQt5 GUI Email Alerts Analytics

### 数据处理流水线