Watcher

AI-управляемая платформа автоматизированного выявления киберугроз

Watcher — это платформа на Django и React JS, предназначенная для обнаружения и мониторинга новых киберугроз с помощью анализа угроз на основе ИИ. Может быть развёрнута на веб‑серверах или быстро запущена через Docker.

Возможности Watcher

Watcher расширяет возможности вашей службы безопасности благодаря комплексному выявлению и мониторингу угроз:

• Разведка угроз на основе ИИ — Преобразуйте необработанные данные об угрозах в действенную аналитику: автоматические еженедельные дайджесты топ-5 актуальных тем кибербезопасности, оповещения о последних новостях при появлении угроз, сводки по любому ключевому слову с деталями связанных CVE и субъектов угроз по запросу.

• Интеллект по CVE и программам-вымогателям — Непрерывно получайте, коррелируйте и выводите на поверхность внешние данные об угрозах: CVE из cve.circl.lu, жертвы и группы программ-вымогателей из ransomware.live и ransomlook.io. Определяйте правила отслеживания на основе ключевых слов, чтобы получать оповещения, когда конкретные угрозы соответствуют контексту вашей организации.

• Обнаружение новых угроз — Отслеживайте тренды кибербезопасности через RSS-ленты CERT-FR (www.cert.ssi.gouv.fr), CERT-EU (www.cert.europa.eu), US-CERT (www.us-cert.gov), Австралийского центра кибербезопасности (www.cyber.gov.au) и других. Следите за новыми уязвимостями, кампаниями вредоносного ПО и предупреждениями об угрозах по мере их появления.

• Управление легитимными доменами — Централизованный реестр одобренных доменов с указанием срока действия, статуса повторной регистрации, информации о регистраторе и контактах. Легко преобразуйте отслеживаемые вредоносные домены в легитимные. Автоматическое отслеживание дел UDRP.

• Мониторинг утечек информации — Обнаруживайте раскрытие конфиденциальных данных в различных источниках, включая Pastebin, StackOverflow, GitHub, GitLab, Bitbucket, APKMirror, реестры npm и другие платформы. Выявляйте утёкшие учётные данные, ключи API и конфиденциальную информацию на ранних стадиях.

• Наблюдение за вредоносными доменами — Отслеживайте изменения IP-адресов, почтовых/MX-записей и веб-контента вредоносных доменов. Используйте TLSH — нечёткое хеширование для обнаружения модификаций. Автоматические проверки RDAP/WHOIS с оповещениями о регистраторе и истечении срока.

• Обнаружение подозрительных доменов — Выявляйте потенциально вредоносные домены, нацеленные на вашу организацию, с помощью:

  • с использованием для поиска тайпсквоттинга, атак на омографы и похожих вариантов доменов

Дополнительные возможности

Расширьте возможности Watcher с помощью мощных интеграций и инструментов управления:

• Полная синхронизация с TheHive — Интеграция с TheHive, включающая автоматическое создание оповещений, интеллектуальное управление кейсами, обогащение IOCs и готовые к использованию Cortex Analyzers & Responders. Подробные настройки приведены в документации здесь.
• Интеграция с MISP — Бесшовный экспорт индикаторов компрометации (IOCs) в MISP с интеллектуальным отслеживанием UUID, автоматическим созданием объектов и ручным обновлением атрибутов для совместного обмена данными об угрозах
• SSO / OpenID Connect — Федеративный вход через любого провайдера OIDC (Keycloak, Azure AD и т.д.) с выдачей токенов PKCE и Knox. Настраивается для каждого экземпляра через .env
• Гибкая аутентификация — Поддержка систем аутентификации LDAP, локальной и SSO/OIDC
• Панель коннекторов — Страница /connectors только для суперпользователей, позволяющая просматривать, редактировать и тестировать все внешние интеграции (SMTP, Slack, Citadel, TheHive, MISP, каналы CyberWatch и другие) в одном месте, с шифрованным хранением учётных данных и проверкой здоровья каждого коннектора.
• Умные уведомления — Получайте оповещения по email, в Slack или Citadel о критических находках и нарушениях пороговых значений во всех модулях, включая CyberWatch и решения UDRP
• Интерактивная документация API — Автоматически сгенерированный Swagger UI по адресу /api/docs/ и схема OpenAPI 3 по адресу /api/schema/ на основе drf-spectacular
• Интеграция с системой тикетов — Автоматически передавайте результаты безопасности в вашу систему тикетов
• Комплексный административный интерфейс — Управляйте всеми аспектами Watcher через мощную административную панель Django
• Расширенный контроль доступа — Детальные разрешения пользователей и управление группами для командной работы

Задействованные зависимости

Watcher использует инструменты и библиотеки с открытым исходным кодом:

• Hugging Face Transformers — фреймворк AI/ML для обобщения данных разведки угроз и извлечения сущностей
• google/flan-t5-base — модель генерации текста (text-to-text) для сводок угроз на основе ИИ
• dslim/bert-base-NER — распознавание именованных сущностей для автоматического извлечения IOCs
• certstream — мониторинг сертификатной прозрачности
• dnstwist — движок перестановок доменных имён
• SearxNG — метапоисковая система с уважением к конфиденциальности
• PyMISP — интеграция с платформой разведки угроз MISP
• TLSH — нечёткое хеширование для обнаружения схожести содержимого
• mozilla-django-oidc — бэкенд аутентификации OpenID Connect
• drf-spectacular — генерация схемы OpenAPI 3 и Swagger UI
• deck.gl — геопространственная визуализация на WebGL (WorldMap)
• MUI (Material UI) — библиотека компонентов React для KPI-карточек и графиков
• shadow-useragent — библиотека ротации User-Agent
• NLTK — набор инструментов для обработки естественного языка

Предварительный просмотр приложения

Обнаружение угроз

Еженедельная сводка и последние новости на основе ИИ

Обнаружение подозрительных доменных имён

Список легитимных доменов

Обнаружение утечек данных

Мониторинг подозрительных доменных имён

Предпросмотр тем

Watcher предлагает несколько визуальных тем, чтобы соответствовать вашим предпочтениям и рабочей среде.

Административный интерфейс

Django предоставляет готовый к использованию пользовательский интерфейс для административных задач. Все мы знаем, насколько важен административный интерфейс для веб-проекта: управление пользователями, управление группами пользователей, настройка Watcher, журналы использования...

Установка

# 1. Клонируйте репозиторий
git clone https://github.com/thalesgroup-cert/watcher.git
cd watcher/deployment

# 2. Инициализируйте окружение, конфиги и структуру каталогов
make init

# 3. Запустите стек
make up

# 4. При первом запуске: выполните миграции БД и создайте суперпользователя
make migrate
make superuser
make populate-db

# 5. Откройте веб-интерфейс
#    http://localhost:9002  (или ваш настроенный домен/порт)

Запустите Watcher всего за 10 минут с помощью Docker. Подробные инструкции доступны в нашем Руководстве по установке

Архитектура платформы

Модульная архитектура Watcher обеспечивает масштабируемость, надёжность и лёгкую интеграцию с вашим существующим стеком безопасности.

Участие в разработке

Мы приветствуем вклад сообщества безопасности!

Чтобы сообщить об ошибке, запросить новую функцию или отправить код, пожалуйста, ознакомьтесь с нашим полным Руководством по участию.

Соответствие требованиям Pastebin

Для использования функции API Pastebin в Watcher необходимо оформить подписку Pastebin Pro и внести публичный IP Watcher в белый список (см. https://pastebin.com/doc_scraping_api).