Watcher

AI驱动的自动化网络安全威胁检测平台

Watcher 是一个基于 Django 和 React JS 的平台，旨在通过 AI 驱动的威胁情报分析 发现并监控新兴网络安全威胁。它可以部署在 Web 服务器上，或通过 Docker 快速运行。

Watcher 的能力

Watcher 通过全面的威胁检测和监控能力，增强您的安全运营：

• AI 驱动的威胁情报 - 将原始威胁数据转化为可操作的情报：自动生成每周摘要（涵盖前五大热门网络安全话题）、实时突发新闻警报（当威胁出现时即时推送）、支持对任意安全关键词进行按需摘要（包括相关 CVE 和威胁行为者详细信息）。

• CVE 与勒索软件情报 - 持续获取、关联并呈现外部威胁数据：来自 cve.circl.lu 的 CVE，来自 ransomware.live 和 ransomlook.io 的勒索软件受害者和组织。定义基于关键词的监控规则，当特定威胁符合您组织的上下文时触发告警。

• 新兴威胁检测 - 通过 RSS 源监控网络安全趋势，来源包括：CERT-FR（www.cert.ssi.gouv.fr）、CERT-EU（www.cert.europa.eu）、US-CERT（www.us-cert.gov）、澳大利亚网络安全中心（www.cyber.gov.au）等。追踪新漏洞、恶意软件活动和威胁通告的出现。

• 合法域名管理 - 集中管理已批准的域名，包括有效期、续费状态、注册商信息和联系人。可轻松将监控的恶意域名转换为合法域名。自动跟踪 UDRP 案件。

• 信息泄露监控 - 检测跨网络暴露的敏感数据，包括 Pastebin、StackOverflow、GitHub、GitLab、Bitbucket、APKMirror、npm 注册表等平台。尽早捕捉泄露的凭据、API 密钥和机密信息。

• 恶意域名监控 - 监控恶意域名的 IP 地址、邮件/MX 记录和 Web 内容的变化。使用 TLSH 模糊哈希检测修改。自动执行 RDAP/WHOIS 查询，并发送注册商和有效期告警。

• 可疑域名检测 - 检测针对您组织的潜在恶意域名，通过以下方式：

  • 域名生成算法检测：使用 dnstwist 发现域名抢注、同形攻击和相似的域名变体
  • 证书透明度监控：通过 certstream 实时捕获新注册的可疑域名

附加功能

通过强大的集成和管理工具扩展 Watcher 的能力：

• TheHive 完全同步 - 与 TheHive 集成，支持自动创建告警、智能案件管理、IOC 丰富化以及即用型 Cortex 分析器与响应器。详细配置请参阅文档 此处。
• MISP 集成 - 将危害指标（IOC）无缝导出到 MISP，支持智能 UUID 跟踪、自动对象创建和手动属性更新，实现协作式威胁情报共享。
• SSO / OpenID Connect - 通过任何 OIDC 提供者（Keycloak、Azure AD 等）进行联合登录，支持 PKCE 和 Knox Token 发放。可通过 .env 按实例配置。
• 灵活的认证方式 - 支持 LDAP、本地认证以及 SSO/OIDC 认证系统。
• 连接器仪表板 - 超级用户专用的 /connectors 页面，可在此统一查看、编辑和测试所有外部集成（SMTP、Slack、Citadel、TheHive、MISP、CyberWatch 源等），支持凭据加密存储和连接器健康检查。
• 智能通知 - 通过电子邮件、Slack 或 Citadel 接收关键发现和阈值违反的告警，涵盖所有模块，包括 CyberWatch 和 UDRP 决策。
• 交互式 API 文档 - 自动生成 Swagger UI（位于 /api/docs/）和 OpenAPI 3 模式（位于 /api/schema/），由 drf-spectacular 驱动。
• 工单系统集成 - 自动将安全发现馈送到您的工单系统。
• 全面的管理界面 - 通过 Django 强大的管理面板管理 Watcher 的所有方面。
• 高级访问控制 - 粒度的用户权限和组管理，支持团队协作。
• 现代化 UI 体验 - 现代化界面，支持可自定义主题、可调整大小的仪表盘面板、带保存过滤条件的高级筛选功能以及持久化用户偏好。

涉及依赖

Watcher 利用以下开源工具和库：

• Hugging Face Transformers - 提供威胁情报摘要和实体提取的 AI/ML 框架
• google/flan-t5-base - 用于 AI 驱动的威胁摘要的文本到文本生成模型
• dslim/bert-base-NER - 用于自动 IOC 提取的命名实体识别模型
• certstream - 证书透明度监控
• dnstwist - 域名排列引擎
• SearxNG - 尊重隐私的元搜索引擎
• PyMISP - MISP 威胁情报平台集成
• TLSH - 用于内容相似性检测的模糊哈希
• mozilla-django-oidc - OpenID Connect 认证后端
• drf-spectacular - OpenAPI 3 模式生成和 Swagger UI
• deck.gl - WebGL 驱动的地理空间可视化（世界地图）
• MUI (Material UI) - 用于 KPI 卡片和图表的 React 组件库
• shadow-useragent - User-Agent 轮换库
• NLTK - 自然语言工具包，用于文本处理

应用预览

威胁检测

AI 驱动的每周摘要与突发新闻

可疑域名检测

合法域名列表

数据泄露检测

可疑域名监控

主题预览

Watcher 提供多种视觉主题，以匹配您的偏好和工作环境。

管理界面

Django 提供了一个即用型的管理界面。我们都知道管理界面对于 Web 项目的重要性：用户管理、用户组管理、Watcher 配置、使用日志等。

安装

# 1. 克隆仓库
git clone https://github.com/thalesgroup-cert/watcher.git
cd watcher/deployment

# 2. 初始化环境、配置及目录结构
make init

# 3. 启动堆栈
make up

# 4. 首次运行：执行数据库迁移 + 创建超级用户
make migrate
make superuser
make populate-db

# 5. 打开 Web 界面
#    http://localhost:9002 （或您配置的域名/端口）

使用 Docker 在 10 分钟 内即可让 Watcher 运行起来。详细说明请参阅我们的安装指南

平台架构

Watcher 的模块化架构确保了可扩展性、可靠性以及与现有安全堆栈的轻松集成。

贡献

我们欢迎安全社区的贡献！

如需报告错误、请求功能或提交代码，请阅读我们的完整贡献指南。

Pastebin 合规性

要使用 Watcher 的 Pastebin API 功能，您需要订阅 Pastebin Pro 账户，并将 Watcher 的公网 IP 加入白名单（参见 https://pastebin.com/doc_scraping_api）。