Платформа анализа угроз на основе ИИ для автоматического мониторинга CVE/программ-вымогателей, наблюдения за доменами, обнаружения утечек данных и реагирования на инциденты с интеграцией MISP/TheHive.
<p align="center">
<img alt="Логотип Watcher" src="https://assets.kitploit.com/production/public/readmes/6816/e4e489f04c6ba2eb88f27dbbcd3924b06658a7fe314c331215fbe7d20d160654.png" height="270" width="270">
</p>
<p align="center">
<strong>Платформа автоматизированного обнаружения киберугроз на основе ИИ</strong>
</p>
<p align="center">
<a href="https://thalesgroup-cert.github.io/Watcher/README.html">
<img src="https://img.shields.io/badge/Install-Guide-informational?style=for-the-badge&logo=docker" alt="Установка">
</a>
<a href="https://thalesgroup-cert.github.io/Watcher/">
<img src="https://img.shields.io/badge/Documentation-Read-informational?style=for-the-badge&logo=readthedocs" alt="Документация">
</a>
<a href="https://github.com/thalesgroup-cert/Watcher">
<img src="https://img.shields.io/github/stars/thalesgroup-cert/Watcher?style=for-the-badge&logo=github" alt="Звёзды">
</a>
<a href="https://github.com/thalesgroup-cert/Watcher/issues?q=is%3Aissue+is%3Aclosed">
<img src="https://img.shields.io/github/issues-closed-raw/thalesgroup-cert/Watcher?style=for-the-badge&logo=github" alt="Закрытые задачи">
</a>
<a href="https://github.com/thalesgroup-cert/watcher/blob/master/LICENSE">
<img src="https://img.shields.io/github/license/thalesgroup-cert/Watcher?style=for-the-badge&logo=opensourceinitiative&logoColor=white" alt="Лицензия">
</a>
<a href="https://hub.docker.com/r/felix83000/watcher/tags">
<img src="https://img.shields.io/docker/pulls/felix83000/watcher?style=for-the-badge&logo=docker" alt="Загрузки Docker">
</a>
</p>
<p align="center">
<a href="https://trendshift.io/repositories/15680?utm_source=repository-badge&utm_medium=badge&utm_campaign=badge-repository-15680" target="_blank" rel="noopener noreferrer">
<img src="https://trendshift.io/api/badge/repositories/15680" alt="thalesgroup-cert/Watcher | Trendshift" width="250" height="55"/>
</a>
<a href="https://trendshift.io/repositories/15680?utm_source=trendshift-badge&utm_medium=badge&utm_campaign=badge-trendshift-15680" target="_blank" rel="noopener noreferrer">
<img src="https://trendshift.io/api/badge/trendshift/repositories/15680/daily?language=JavaScript" alt="thalesgroup-cert/Watcher | Trendshift" width="250" height="55"/>
</a>
</p>
Watcher — это платформа на Django и React JS, предназначенная для обнаружения и мониторинга новых киберугроз с помощью **анализа киберразведки на основе ИИ**. Её можно развернуть на веб-серверах или быстро запустить через Docker.
## Возможности Watcher
Watcher расширяет возможности ваших служб безопасности благодаря комплексному обнаружению и мониторингу угроз:
- **Киберразведка на основе ИИ** — превращайте необработанные данные об угрозах в практически применимую информацию с помощью автоматических еженедельных дайджестов о пяти самых обсуждаемых темах кибербезопасности, оповещений о срочных новостях в момент появления угроз и сводок по запросу для любого ключевого слова в сфере безопасности, включая сведения о связанных CVE и субъектах угроз.
- **Разведка по CVE и программам-вымогателям** — непрерывно получайте, сопоставляйте и отображайте внешние данные об угрозах: CVE из [cve.circl.lu](https://cve.circl.lu), жертв и группировок программ-вымогателей из [ransomware.live](https://ransomware.live) и [ransomlook.io](https://ransomlook.io). Определяйте правила наблюдения на основе ключевых слов, чтобы получать оповещения, когда конкретные угрозы соответствуют контексту вашей организации.
- **Обнаружение новых угроз** — отслеживайте тенденции в кибербезопасности через RSS-каналы CERT-FR (www.cert.ssi.gouv.fr), CERT-EU (www.cert.europa.eu), US-CERT (www.us-cert.gov), Австралийского центра кибербезопасности (www.cyber.gov.au) и других источников. Отслеживайте новые уязвимости, кампании вредоносного ПО и предупреждения об угрозах по мере их появления.
- **Управление легитимными доменами** — централизованный список одобренных доменов со сведениями о сроке действия, статусе перевыкупа, регистраторе и контактах. Легко преобразуйте отслеживаемые вредоносные домены в легитимные. Автоматическое отслеживание дел по процедуре UDRP.
- **Мониторинг утечек информации** — обнаруживайте раскрытие конфиденциальных данных в интернете, включая Pastebin, StackOverflow, GitHub, GitLab, Bitbucket, APKMirror, реестры npm и другие платформы. Своевременно выявляйте утёкшие учётные данные, ключи API и конфиденциальную информацию.
- **Наблюдение за вредоносными доменами** — отслеживайте вредоносные домены на предмет изменений IP-адресов, записей mail/MX и веб-содержимого. Используйте нечёткое хеширование [TLSH](https://github.com/trendmicro/tlsh) для обнаружения изменений. Автоматические проверки RDAP/WHOIS с оповещениями о регистраторе и истечении срока действия.
- **Обнаружение подозрительных доменов** — выявляйте потенциально вредоносные домены, нацеленные на вашу организацию, с помощью:
- **Обнаружение алгоритмов генерации доменов** с использованием [dnstwist](https://github.com/elceef/dnstwist) для поиска тайпсквоттинга, гомографических атак и похожих вариантов доменов
- **Мониторинг Certificate Transparency** через [certstream](https://github.com/CaliDog/certstream-python) для обнаружения новых подозрительных доменов в реальном времени
## Дополнительные возможности
Расширьте возможности Watcher с помощью мощных интеграций и инструментов управления:
- **Полная синхронизация с TheHive** — интеграция с [TheHive](https://thehive-project.org/), включающая автоматическое создание оповещений, интеллектуальное управление кейсами, обогащение IOC и готовые к использованию Cortex Analyzers & Responders. Подробная конфигурация описана в документации [здесь.](https://thalesgroup-cert.github.io/Watcher/README.html#thehive-export)
- **Интеграция с MISP** — простой экспорт индикаторов компрометации (IOC) в [MISP](https://www.misp-project.org/) с интеллектуальным отслеживанием UUID, автоматическим созданием объектов и ручным обновлением атрибутов для совместного обмена данными об угрозах
- **SSO / OpenID Connect** — федеративный вход через любого провайдера OIDC (Keycloak, Azure AD и т. д.) с PKCE и выдачей токенов Knox. Настраивается для каждого экземпляра через `.env`
- **Массовое добавление и массовые действия** — добавляйте множество элементов сразу с помощью переключателя *One item per line* (с предварительным просмотром без записи и сводкой по каждому элементу: создан / пропущен / ошибка) или отмечайте строки в любой таблице, чтобы редактировать, удалять или экспортировать их (в Legitimate Domains или MISP) за один раз
- **Гибкая аутентификация** — поддержка систем аутентификации LDAP, локальной и SSO/OIDC
- **Панель коннекторов** — страница `/connectors`, доступная только суперпользователю, для просмотра, редактирования и тестирования каждой внешней интеграции (SMTP, Slack, Citadel, TheHive, MISP, каналы CyberWatch и другие) из одного места, с зашифрованным хранением учётных данных и проверками работоспособности каждого коннектора.
- **Умные уведомления** — получайте оповещения по электронной почте, в Slack или Citadel о критических находках и нарушениях пороговых значений во всех модулях, включая CyberWatch и решения UDRP
- **Интерактивная документация API** — автоматически генерируемый Swagger UI по адресу `/api/docs/` и схема OpenAPI 3 по адресу `/api/schema/` на основе drf-spectacular
- **Интеграция с системой тикетов** — автоматическая передача результатов проверок безопасности в вашу систему тикетов
- **Комплексный административный интерфейс** — управление всеми аспектами Watcher через мощную панель администратора Django
- **Расширенный контроль доступа** — детальные права пользователей и управление группами для командной работы
- **Современный интерфейс** — современный интерфейс с настраиваемыми темами, панелями дашборда с изменяемым размером, расширенной фильтрацией с сохранёнными наборами фильтров и постоянными пользовательскими настройками
## Используемые зависимости
Watcher использует инструменты и библиотеки с открытым исходным кодом:
- [**Hugging Face Transformers**](https://huggingface.co/docs/transformers) — фреймворк AI/ML, обеспечивающий суммаризацию threat intelligence и извлечение сущностей
- [**google/flan-t5-base**](https://huggingface.co/google/flan-t5-base) — модель генерации текст-в-текст для AI-сводок об угрозах
- [**dslim/bert-base-NER**](https://huggingface.co/dslim/bert-base-NER) — распознавание именованных сущностей для автоматического извлечения IOC
- [**certstream**](https://github.com/CaliDog/certstream-python) — мониторинг Certificate Transparency
- [**dnstwist**](https://github.com/elceef/dnstwist) — движок перестановок доменных имён
- [**SearxNG**](https://github.com/searxng/searxng) — метапоисковик, уважающий приватность
- [**PyMISP**](https://github.com/MISP/PyMISP) — интеграция с платформой threat intelligence MISP
- [**TLSH**](https://github.com/trendmicro/tlsh) — нечёткое хеширование для обнаружения схожести контента
- [**mozilla-django-oidc**](https://github.com/mozilla/mozilla-django-oidc) — бэкенд аутентификации OpenID Connect
- [**drf-spectacular**](https://github.com/tfranzel/drf-spectacular) — генерация схем OpenAPI 3 и Swagger UI
- [**deck.gl**](https://deck.gl/) — геопространственная визуализация на базе WebGL (WorldMap)
- [**MUI (Material UI)**](https://mui.com/) — библиотека React-компонентов для KPI-карточек и графиков
- [**shadow-useragent**](https://github.com/lobstrio/shadow-useragent) — библиотека ротации User-Agent
- [**NLTK**](https://www.nltk.org/) — Natural Language Toolkit для обработки текста
## Предпросмотр приложения
Все скриншоты ниже используют вымышленные данные (выдуманная компания «Altair Dynamics»).
### Обзор
<p align="center">
<img alt="Watcher overview" src="https://assets.kitploit.com/production/public/readmes/6816/889d64658ee29d7353793743d722d13bd2b5f58a142bb5efc6b7c7ec03603597/812c719e0184976df24e7c7d019304746e93926ca563d1e771a383ef94ec2a0d-display-v1.webp" width="90%">
</p>
Тур по платформе: еженедельный AI-отчёт и экстренные новости, панель угроз, легитимные и подозрительные домены, DNS-угрозы, утечки данных и Cyber Watch.
### Обнаружение угроз
<p align="center">
<img alt="Threats Watcher" src="https://assets.kitploit.com/production/public/readmes/6816/62c2f6d7e36b9834c3213b656e0f76d338c672917d34bd9f310c41f012a9eb9d.gif" width="90%">
</p>
### Еженедельная сводка на базе AI и экстренные новости
<p align="center">
<img alt="Weekly Summary & Breaking News" src="https://assets.kitploit.com/production/public/readmes/6816/32b2deddcff921f71a0b2ec64f84a1f0cd09af4bdeff954bacb8abd403dc0c56.gif" width="90%">
</p>
### Обнаружение подозрительных доменных имён
<p align="center">
<img alt="Suspicious domain names detection" src="https://assets.kitploit.com/production/public/readmes/6816/4fc4e63889f7ef887c38112c7a452f3cb48c45fb15fb797cb49f007389ce8bdd.gif" width="90%">
</p>
### Список легитимных доменов
<p align="center">
<img alt="Legitimate Domain" src="https://assets.kitploit.com/production/public/readmes/6816/a1db0ca561dc515642311ad9c57e0c4a13d739ce7d7ea383b5edbb267408954e.gif" width="90%">
</p>
Добавляйте несколько доменов за один раз с помощью переключателя *One item per line*: дефангированные ссылки восстанавливаются, *Preview* показывает результат до сохранения, а сводка перечисляет каждый домен как созданный, пропущенный или с ошибкой.
### Обнаружение утечек данных
<p align="center">
<img alt="Data Leak Detection" src="https://assets.kitploit.com/production/public/readmes/6816/0efc4cb08ee39066c82dcff002bebbb9dbb123e62b1462e112dd51f255391030.gif" width="90%">
</p>
### Мониторинг подозрительных доменных имён
<p align="center">
<img alt="Suspicious domain names monitoring" src="https://assets.kitploit.com/production/public/readmes/6816/22089bdbcf891c978ff028cef7bf6b7a8e4b039affe84bfaa6456174aae317b3.gif" width="90%">
</p>
Выберите несколько доменов и измените флаги легитимности, takedown, юридические и блокировки одновременно.
### Массовые действия и экспорт
<p align="center">
<img alt="Bulk actions" src="https://assets.kitploit.com/production/public/readmes/6816/6ffaf564e82a83d943cd3fabe66d79808ca72af7b06c6a322b70224a190a01a0/250bfeac45daa277f4972dee424ca4063524f2af37f2ec48286c8052dc8f1332-display-v1.webp" width="90%">
</p>
Ложные срабатывания можно массово экспортировать в Legitimate Domains: экспортированные сайты исчезают из Website Monitoring и появляются в легитимном списке без перезагрузки страницы.
### Cyber Watch
<p align="center">
<img alt="Cyber Watch" src="https://assets.kitploit.com/production/public/readmes/6816/db6600625f050dddebb7f0534f4cef8d5c193f1afa87bbb67f0cd1d4f85c1e5e/8e74510b574b4d6c0384f8547eb2da15c04bcc1d04abbe4da38d42b61ecb7bf2-display-v1.webp" width="90%">
</p>
Правила наблюдения, отслеживаемые ключевые слова и RSS-источники, а также совпадения по CVE и программам-вымогателям, которые они порождают.
### История каждого изменения
<p align="center">
<img alt="Timeline history" src="https://assets.kitploit.com/production/public/readmes/6816/521ead163a778ba959570582b4eaff79a70c0e177f61d6a38c9847ba3167fcee/2284f87e67030806393ed8fd836b23db69c16cb6bc13091f249d1d337325335a-display-v1.webp" width="90%">
</p>
Каждое создание, обновление и удаление записывается вместе с автором, так что вы видите, кто что и когда изменил.
### Настраиваемые панели мониторинга
<p align="center">
<img alt="Макет панели мониторинга" src="https://assets.kitploit.com/production/public/readmes/6816/1725ea872465a60e59fef9c825988e060cf53cf305491f414f53461d7354d70a/b2d3fd7e3f949c84a89a2c46695acdcdc30e926cf4b0946bab2c69b04c38fbd5-display-v1.webp" width="90%">
</p>
Показывайте, скрывайте, перемещайте и изменяйте размер панелей: макет сохраняется в вашем профиле.
### Предпросмотр тем
<p align="center">
<img alt="Настройка темы 1" src="https://assets.kitploit.com/production/public/readmes/6816/fbf617489fff9bc0c0ffe42a8b11e3a9fe55e9cd3983e36ef672b28ba931866b.gif" width="45%">
<img alt="Настройка темы 2" src="https://assets.kitploit.com/production/public/readmes/6816/4b4cd39dea20c42dabbd06568fd8bd775f4f99ed9829f9e7e037a03ceb61df77.gif" width="45%">
</p>
<p align="center">
<img alt="Настройка темы 3" src="https://assets.kitploit.com/production/public/readmes/6816/684a9ea44b83d902bd472186b01940dfa3103cc3f7d84f7a63221f277201ee57.gif" width="45%">
<img alt="Настройка темы 4" src="https://assets.kitploit.com/production/public/readmes/6816/219137924c2313f86e8284b0a98ec394ec4fd685a2d4054743f1bb59cc7e60cb.gif" width="45%">
</p>
Watcher предлагает несколько визуальных тем, соответствующих вашим предпочтениям и рабочей среде.
### Интерфейс администратора
<p align="center">
<img alt="Интерфейс администратора" src="https://assets.kitploit.com/production/public/readmes/6816/7414067a08daf38145261589e72b4e0ddee70f23a9d18d2f01383af434b96c99.gif" width="90%">
</p>
Django предоставляет готовый к использованию пользовательский интерфейс для административных задач. Всем известно, насколько важен интерфейс администратора для веб-проекта: управление пользователями, управление группами пользователей, настройка Watcher, журналы использования...
## Установка
```bash
# 1. Clone the repo
git clone https://github.com/thalesgroup-cert/watcher.git
cd watcher/deployment
# 2. Initialize environment, configs & directory structure
make init
# 3. Start the stack
make up
# 4. On first run: run database migrations + create superuser
make migrate
make superuser
make populate-db
# 5. Open the web UI
# http://localhost:9002 (or your configured domain/port)
```
Разверните Watcher всего за **10 минут** с помощью Docker. **Подробные инструкции доступны в нашем [руководстве по установке](https://thalesgroup-cert.github.io/Watcher/README.html)**
## Архитектура платформы
```mermaid
flowchart LR
subgraph SRC["External sources"]
RSS["RSS / CERT advisories"]
CVE["CVE & ransomware feeds"]
CT["Certificate Transparency"]
WEB["Paste sites & code registries"]
RSS ~~~ CVE ~~~ CT ~~~ WEB
end
subgraph HOST["Host server (Docker)"]
TRAEFIK["Traefik<br/>TLS reverse proxy"]
subgraph WATCHER["Watcher (Django)"]
UI["React UI / Django admin"]
API["Django REST API"]
JOBS["Scheduled jobs (APScheduler)<br/>Threats · CyberWatch · DNS Threats<br/>Data Leak · Website Monitoring"]
CONN["Connectors"]
end
CERTSTREAM["CertStream"]
SEARX["SearXNG"]
DB[("MySQL")]
end
subgraph OUT["Outputs"]
HIVE["TheHive"]
MISP["MISP"]
CHAT["Slack / Citadel"]
MAIL["Email (SMTP)"]
end
ANALYST(["Analyst"]) --> TRAEFIK --> UI
UI <--> API
API <--> DB
JOBS <--> DB
RSS & CVE --> JOBS
CT --> CERTSTREAM --> JOBS
WEB --> SEARX --> JOBS
JOBS --> CONN
API --> CONN
CONN --> HIVE & MISP & CHAT & MAIL
```
Модульная архитектура Watcher обеспечивает масштабируемость, надёжность и простоту интеграции с вашим существующим стеком безопасности.
## Участие в разработке
Мы приветствуем вклад сообщества безопасности!
Чтобы сообщить об ошибках, запросить функции или отправить код, пожалуйста, ознакомьтесь с нашим полным [руководством по участию](https://github.com/thalesgroup-cert/watcher/blob/master/CONTRIBUTING.md).
## Соответствие требованиям Pastebin
Чтобы использовать функцию API Pastebin в Watcher, вам необходимо оформить подписку на профессиональную учётную запись Pastebin и добавить публичный IP-адрес Watcher в белый список (см. https://pastebin.com/doc_scraping_api).Откройте для себя самые используемые инструменты нашего сообщества.
Данных о популярности пока нет.