AI驱动的威胁情报平台,用于自动化CVE/勒索软件监控、域名监控、数据泄露检测和事件响应,并集成MISP/TheHive。
<p align="center">
<img alt="Watcher Logo" src="https://assets.kitploit.com/production/public/readmes/6816/e4e489f04c6ba2eb88f27dbbcd3924b06658a7fe314c331215fbe7d20d160654.png" height="270" width="270">
</p>
<p align="center">
<strong>AI 驱动的自动化网络安全威胁检测平台</strong>
</p>
<p align="center">
<a href="https://thalesgroup-cert.github.io/Watcher/README.html">
<img src="https://img.shields.io/badge/Install-Guide-informational?style=for-the-badge&logo=docker" alt="Install">
</a>
<a href="https://thalesgroup-cert.github.io/Watcher/">
<img src="https://img.shields.io/badge/Documentation-Read-informational?style=for-the-badge&logo=readthedocs" alt="Documentation">
</a>
<a href="https://github.com/thalesgroup-cert/Watcher">
<img src="https://img.shields.io/github/stars/thalesgroup-cert/Watcher?style=for-the-badge&logo=github" alt="Stars">
</a>
<a href="https://github.com/thalesgroup-cert/Watcher/issues?q=is%3Aissue+is%3Aclosed">
<img src="https://img.shields.io/github/issues-closed-raw/thalesgroup-cert/Watcher?style=for-the-badge&logo=github" alt="Closed Issues">
</a>
<a href="https://github.com/thalesgroup-cert/watcher/blob/master/LICENSE">
<img src="https://img.shields.io/github/license/thalesgroup-cert/Watcher?style=for-the-badge&logo=opensourceinitiative&logoColor=white" alt="License">
</a>
<a href="https://hub.docker.com/r/felix83000/watcher/tags">
<img src="https://img.shields.io/docker/pulls/felix83000/watcher?style=for-the-badge&logo=docker" alt="Docker Pulls">
</a>
</p>
<p align="center">
<a href="https://trendshift.io/repositories/15680?utm_source=repository-badge&utm_medium=badge&utm_campaign=badge-repository-15680" target="_blank" rel="noopener noreferrer">
<img src="https://trendshift.io/api/badge/repositories/15680" alt="thalesgroup-cert/Watcher | Trendshift" width="250" height="55"/>
</a>
<a href="https://trendshift.io/repositories/15680?utm_source=trendshift-badge&utm_medium=badge&utm_campaign=badge-trendshift-15680" target="_blank" rel="noopener noreferrer">
<img src="https://trendshift.io/api/badge/trendshift/repositories/15680/daily?language=JavaScript" alt="thalesgroup-cert/Watcher | Trendshift" width="250" height="55"/>
</a>
</p>
Watcher 是一个基于 Django 和 React JS 的平台,旨在通过 **AI 驱动的威胁情报分析** 发现并监控新兴的网络安全威胁。它可部署在 Web 服务器上,也可通过 Docker 快速运行。
## Watcher 功能
Watcher 通过全面的威胁检测与监控能力为您的安全运营提供支持:
- **AI 驱动的威胁情报** - 将原始威胁数据转化为可执行的威胁情报,包括自动生成每周摘要,涵盖排名前五的热门网络安全话题;在威胁出现时提供实时突发新闻警报;针对任意安全关键词提供按需摘要,并包含相关 CVE 和威胁行为者详情。
- **CVE 与勒索软件情报** - 持续获取、关联并呈现外部威胁数据:来自 [cve.circl.lu](https://cve.circl.lu) 的 CVE,以及来自 [ransomware.live](https://ransomware.live) 和 [ransomlook.io](https://ransomlook.io) 的勒索软件受害者和组织。定义基于关键词的监控规则,在特定威胁与您组织的环境匹配时收到警报。
- **新兴威胁检测** - 通过来自 CERT-FR (www.cert.ssi.gouv.fr)、CERT-EU (www.cert.europa.eu)、US-CERT (www.us-cert.gov)、澳大利亚网络安全中心 (www.cyber.gov.au) 等机构的 RSS 源监控网络安全趋势。跟踪新出现的漏洞、恶意软件活动和威胁公告。
- **合法域名管理** - 集中管理已批准域名,包括到期时间、续购状态、注册商信息和联系人。轻松将受监控的恶意域名转换为合法域名。自动跟踪 UDRP 案件。
- **信息泄露监控** - 检测 Web 上包括 Pastebin、StackOverflow、GitHub、GitLab、Bitbucket、APKMirror、npm 注册表及其他平台在内的敏感数据暴露情况。及早发现泄露的凭据、API 密钥和机密信息。
- **恶意域名监控** - 监控恶意域名的 IP 地址、邮件/MX 记录和网页内容变化。使用 [TLSH](https://github.com/trendmicro/tlsh) 模糊哈希检测修改。自动进行 RDAP/WHOIS 检查,并提供注册商和到期提醒。
- **可疑域名检测** - 通过以下方式识别针对您组织的潜在恶意域名:
- **域名生成算法检测**,使用 [dnstwist](https://github.com/elceef/dnstwist) 查找域名抢注、同形异义攻击及类似域名变体
- **证书透明度监控**,通过 [certstream](https://github.com/CaliDog/certstream-python) 实时捕获新注册的可疑域名
## 附加功能
通过强大的集成和管理工具扩展 Watcher 的能力:
- **TheHive 完全同步** - 与 [TheHive](https://thehive-project.org/) 集成,具备自动告警创建、智能案件管理、IOC 富化和即用型 Cortex Analyzers & Responders。详细配置见[此处](https://thalesgroup-cert.github.io/Watcher/README.html#thehive-export)文档。
- **MISP 集成** - 将入侵指标(IOC)无缝导出至 [MISP](https://www.misp-project.org/),具备智能 UUID 跟踪、自动对象创建和手动属性更新,用于协作式威胁情报共享
- **SSO / OpenID Connect** - 通过任意 OIDC 提供商(Keycloak、Azure AD 等)进行联合登录,支持 PKCE 和 Knox 令牌签发。可通过 `.env` 按实例配置
- **批量添加与批量操作** - 使用*每行一项*开关一次添加多个项目(带有不写入的预览以及逐项创建/跳过/错误摘要),或在任意表格中勾选行以一次性编辑、删除或导出(至 Legitimate Domains 或 MISP)
- **灵活认证** - 支持 LDAP、本地和 SSO/OIDC 认证系统
- **连接器仪表板** - 仅超级用户可访问的 `/connectors` 页面,可在一个地方查看、编辑和测试所有外部集成(SMTP、Slack、Citadel、TheHive、MISP、CyberWatch 源等),具备加密凭据存储和逐连接器健康检查。
- **智能通知** - 接收电子邮件、Slack 或 Citadel 告警,涵盖所有模块(包括 CyberWatch 和 UDRP 裁决)中的关键发现和阈值违规
- **交互式 API 文档** - 由 drf-spectacular 提供支持,在 `/api/docs/` 自动生成 Swagger UI,在 `/api/schema/` 提供 OpenAPI 3 架构
- **工单系统集成** - 自动将安全发现推送至您的工单系统
- **全面的管理界面** - 通过 Django 强大的管理面板管理 Watcher 的各个方面
- **高级访问控制** - 细粒度的用户权限和组管理,便于团队协作
- **现代 UI 体验** - 现代化界面,支持可自定义主题、可调整大小的仪表板面板、带保存筛选集的高级筛选以及持久化用户偏好
## 相关依赖
Watcher 利用以下开源工具和库:
- [**Hugging Face Transformers**](https://huggingface.co/docs/transformers) - 驱动威胁情报摘要和实体提取的 AI/ML 框架
- [**google/flan-t5-base**](https://huggingface.co/google/flan-t5-base) - 用于 AI 驱动威胁摘要的文本到文本生成模型
- [**dslim/bert-base-NER**](https://huggingface.co/dslim/bert-base-NER) - 用于自动 IOC 提取的命名实体识别
- [**certstream**](https://github.com/CaliDog/certstream-python) - 证书透明度监控
- [**dnstwist**](https://github.com/elceef/dnstwist) - 域名排列引擎
- [**SearxNG**](https://github.com/searxng/searxng) - 尊重隐私的元搜索引擎
- [**PyMISP**](https://github.com/MISP/PyMISP) - MISP 威胁情报平台集成
- [**TLSH**](https://github.com/trendmicro/tlsh) - 用于内容相似性检测的模糊哈希
- [**mozilla-django-oidc**](https://github.com/mozilla/mozilla-django-oidc) - OpenID Connect 身份验证后端
- [**drf-spectacular**](https://github.com/tfranzel/drf-spectacular) - OpenAPI 3 模式生成和 Swagger UI
- [**deck.gl**](https://deck.gl/) - WebGL 驱动的地理空间可视化(WorldMap)
- [**MUI (Material UI)**](https://mui.com/) - 用于 KPI 卡片和图表的 React 组件库
- [**shadow-useragent**](https://github.com/lobstrio/shadow-useragent) - User-Agent 轮换库
- [**NLTK**](https://www.nltk.org/) - 用于文本处理的自然语言工具包
## 应用预览
以下所有截图均使用虚构数据(一家虚构公司“Altair Dynamics”)。
### 概览
<p align="center">
<img alt="Watcher overview" src="https://assets.kitploit.com/production/public/readmes/6816/889d64658ee29d7353793743d722d13bd2b5f58a142bb5efc6b7c7ec03603597/812c719e0184976df24e7c7d019304746e93926ca563d1e771a383ef94ec2a0d-display-v1.webp" width="90%">
</p>
平台导览:AI 周报和突发新闻、威胁仪表板、合法和可疑域名、DNS 威胁、数据泄露和 Cyber Watch。
### 威胁检测
<p align="center">
<img alt="Threats Watcher" src="https://assets.kitploit.com/production/public/readmes/6816/62c2f6d7e36b9834c3213b656e0f76d338c672917d34bd9f310c41f012a9eb9d.gif" width="90%">
</p>
### AI 驱动的每周摘要和突发新闻
<p align="center">
<img alt="Weekly Summary & Breaking News" src="https://assets.kitploit.com/production/public/readmes/6816/32b2deddcff921f71a0b2ec64f84a1f0cd09af4bdeff954bacb8abd403dc0c56.gif" width="90%">
</p>
### 可疑域名检测
<p align="center">
<img alt="Suspicious domain names detection" src="https://assets.kitploit.com/production/public/readmes/6816/4fc4e63889f7ef887c38112c7a452f3cb48c45fb15fb797cb49f007389ce8bdd.gif" width="90%">
</p>
### 合法域名列表
<p align="center">
<img alt="Legitimate Domain" src="https://assets.kitploit.com/production/public/readmes/6816/a1db0ca561dc515642311ad9c57e0c4a13d739ce7d7ea383b5edbb267408954e.gif" width="90%">
</p>
使用 *One item per line* 开关一次性添加多个域名:被 defang 的链接会被还原,*Preview* 会在保存任何内容之前显示结果,摘要会列出每个域名的状态:已创建、已跳过或出错。
### 数据泄露检测
<p align="center">
<img alt="Data Leak Detection" src="https://assets.kitploit.com/production/public/readmes/6816/0efc4cb08ee39066c82dcff002bebbb9dbb123e62b1462e112dd51f255391030.gif" width="90%">
</p>
### 可疑域名监控
<p align="center">
<img alt="Suspicious domain names monitoring" src="https://assets.kitploit.com/production/public/readmes/6816/22089bdbcf891c978ff028cef7bf6b7a8e4b039affe84bfaa6456174aae317b3.gif" width="90%">
</p>
选择多个域名并同时更改合法性、下架、法律和阻止标志。
### 批量操作和导出
<p align="center">
<img alt="Bulk actions" src="https://assets.kitploit.com/production/public/readmes/6816/6ffaf564e82a83d943cd3fabe66d79808ca72af7b06c6a322b70224a190a01a0/250bfeac45daa277f4972dee424ca4063524f2af37f2ec48286c8052dc8f1332-display-v1.webp" width="90%">
</p>
误报可以批量导出到合法域名:导出的站点会从网站监控中消失并出现在合法列表中,无需刷新页面。
### Cyber Watch
<p align="center">
<img alt="Cyber Watch" src="https://assets.kitploit.com/production/public/readmes/6816/db6600625f050dddebb7f0534f4cef8d5c193f1afa87bbb67f0cd1d4f85c1e5e/8e74510b574b4d6c0384f8547eb2da15c04bcc1d04abbe4da38d42b61ecb7bf2-display-v1.webp" width="90%">
</p>
监控规则、受监控的关键词和 RSS 源,以及它们产生的 CVE 和勒索软件匹配结果。
### 每次更改的历史记录
<p align="center">
<img alt="Timeline history" src="https://assets.kitploit.com/production/public/readmes/6816/521ead163a778ba959570582b4eaff79a70c0e177f61d6a38c9847ba3167fcee/2284f87e67030806393ed8fd836b23db69c16cb6bc13091f249d1d337325335a-display-v1.webp" width="90%">
</p>
每次创建、更新和删除都会连同其作者一起记录,因此你可以看到谁在何时更改了什么。
### 可自定义仪表盘
<p align="center">
<img alt="仪表盘布局" src="https://assets.kitploit.com/production/public/readmes/6816/1725ea872465a60e59fef9c825988e060cf53cf305491f414f53461d7354d70a/b2d3fd7e3f949c84a89a2c46695acdcdc30e926cf4b0946bab2c69b04c38fbd5-display-v1.webp" width="90%">
</p>
显示、隐藏、移动和调整面板大小:布局会保存在你的个人资料中。
### 主题预览
<p align="center">
<img alt="主题偏好 1" src="https://assets.kitploit.com/production/public/readmes/6816/fbf617489fff9bc0c0ffe42a8b11e3a9fe55e9cd3983e36ef672b28ba931866b.gif" width="45%">
<img alt="主题偏好 2" src="https://assets.kitploit.com/production/public/readmes/6816/4b4cd39dea20c42dabbd06568fd8bd775f4f99ed9829f9e7e037a03ceb61df77.gif" width="45%">
</p>
<p align="center">
<img alt="主题偏好 3" src="https://assets.kitploit.com/production/public/readmes/6816/684a9ea44b83d902bd472186b01940dfa3103cc3f7d84f7a63221f277201ee57.gif" width="45%">
<img alt="主题偏好 4" src="https://assets.kitploit.com/production/public/readmes/6816/219137924c2313f86e8284b0a98ec394ec4fd685a2d4054743f1bb59cc7e60cb.gif" width="45%">
</p>
Watcher 提供多种视觉主题,以匹配你的偏好和工作环境。
### 管理界面
<p align="center">
<img alt="管理界面" src="https://assets.kitploit.com/production/public/readmes/6816/7414067a08daf38145261589e72b4e0ddee70f23a9d18d2f01383af434b96c99.gif" width="90%">
</p>
Django 为管理活动提供了开箱即用的用户界面。我们都知道管理界面对一个 Web 项目有多重要:用户管理、用户组管理、Watcher 配置、使用日志……
## 安装
```bash
# 1. Clone the repo
git clone https://github.com/thalesgroup-cert/watcher.git
cd watcher/deployment
# 2. Initialize environment, configs & directory structure
make init
# 3. Start the stack
make up
# 4. On first run: run database migrations + create superuser
make migrate
make superuser
make populate-db
# 5. Open the web UI
# http://localhost:9002 (or your configured domain/port)
```
使用 Docker 在短短 **10 分钟**内启动并运行 Watcher。**详细说明请参阅我们的[安装指南](https://thalesgroup-cert.github.io/Watcher/README.html)**
## 平台架构
```mermaid
flowchart LR
subgraph SRC["External sources"]
RSS["RSS / CERT advisories"]
CVE["CVE & ransomware feeds"]
CT["Certificate Transparency"]
WEB["Paste sites & code registries"]
RSS ~~~ CVE ~~~ CT ~~~ WEB
end
subgraph HOST["Host server (Docker)"]
TRAEFIK["Traefik<br/>TLS reverse proxy"]
subgraph WATCHER["Watcher (Django)"]
UI["React UI / Django admin"]
API["Django REST API"]
JOBS["Scheduled jobs (APScheduler)<br/>Threats · CyberWatch · DNS Threats<br/>Data Leak · Website Monitoring"]
CONN["Connectors"]
end
CERTSTREAM["CertStream"]
SEARX["SearXNG"]
DB[("MySQL")]
end
subgraph OUT["Outputs"]
HIVE["TheHive"]
MISP["MISP"]
CHAT["Slack / Citadel"]
MAIL["Email (SMTP)"]
end
ANALYST(["Analyst"]) --> TRAEFIK --> UI
UI <--> API
API <--> DB
JOBS <--> DB
RSS & CVE --> JOBS
CT --> CERTSTREAM --> JOBS
WEB --> SEARX --> JOBS
JOBS --> CONN
API --> CONN
CONN --> HIVE & MISP & CHAT & MAIL
```
Watcher 的模块化架构确保了可扩展性、可靠性,并能轻松集成到你现有的安全体系中。
## 贡献
我们欢迎来自安全社区的贡献!
如需报告缺陷、请求新功能或提交代码,请阅读我们的完整[贡献指南](https://github.com/thalesgroup-cert/watcher/blob/master/CONTRIBUTING.md)。
## Pastebin 合规说明
要使用 Watcher 的 pastebin API 功能,你需要订阅 pastebin 专业版账户,并将 Watcher 的公网 IP 加入白名单(参见 https://pastebin.com/doc_scraping_api)。