EXIST (Система агрегации внешней информации о киберугрозах)

⚠️ Этот репозиторий не поддерживается / архивирован. Проблемы безопасности не будут исправлены.

EXIST — веб-приложение для агрегации и анализа CTI (информации о киберугрозах).

EXIST написан с использованием следующего ПО:

Python 3
Django 1.11

Концепция

EXIST — это веб-приложение для агрегации CTI, которое помогает операторам безопасности расследовать инциденты на основе связанных индикаторов.

EXIST автоматически получает данные из нескольких CTI-сервисов и Twitter через их API и фиды. Вы можете выполнять перекрёстный поиск индикаторов через веб-интерфейс и API.

Если у вас есть серверы, регистрирующие сетевое поведение клиентов (например, логи DNS и HTTP-прокси и т. д.), вы сможете анализировать логи, сопоставляя их с данными в EXIST. Если вы реализуете некоторые программы с использованием API, вы сможете реализовать автоматизированный центр управления безопасностью на основе CTI.

overview

Варианты использования

Сценарий 1: Исследование домена, обнаруженного IDS

Просто введите домен в форму поиска.

lookup_domain

Сценарий 2: Доступ к вредоносному URL от имени пользователя и получение изображения браузера и контента для загрузки

Просто введите URL в форму поиска.

lookup_url

Сценарий 3: Мониторинг киберугроз

Просто добавьте ключевые слова в Threat Hunter или Twitter Hunter.

twitter_hunter

Возможности

Tracker

Tracker автоматически собирает потоки данных из нескольких CTI-сервисов.

Threat Tracker
Reputation Tracker
Twitter Tracker
Exploit Tracker
News Tracker
Vuln Tracker

Hunter

Hunter позволяет задавать запросы для сбора данных из нескольких CTI-сервисов и Twitter.

Twitter Hunter
Threat Hunter
News Hunter

Lookup

Lookup извлекает информацию, связанную с конкретными данными (например, IP-адрес, домен), из нескольких интернет-сервисов (например, whois).

IP-адрес
Домен
URL
Хеш файла

Инструменты

Инструмент для аннотирования твитов из Twitter Tracker.

Инструмент аннотирования

Web API

Предоставляет данные, хранящиеся в базе данных EXIST, через веб-API.

reputation
twitter
exploit
threatEvent
threatAttribute
news
vuln

Начало работы

Далее я предполагаю окружение CentOS 7 или Ubuntu 18.04 LTS. При развёртывании в другой среде действуйте на свой страх и риск.

Установка модулей Python

$ sudo pip install -r requirements.txt

Установка MariaDB

CentOS 7

$ curl -sS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | sudo bash
$ sudo yum install MariaDB-server MariaDB-client

Ubuntu 18.04 LTS

$ sudo apt install mariadb-server mariadb-client

Запуск базы данных

$ sudo systemctl start mariadb
$ sudo systemctl enable mariadb

Настройка базы данных

Создайте базу данных и пользователя.
Создайте .env по образцу .env.example. И отредактируйте в соответствии с настройками вашей БД.

Генерация секретного ключа для Django

Секретный ключ для Django должен быть записан в файл .env.

Сначала запустите генератор ключей:

$ python keygen.py
(example)> 70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@

и запишите секретный ключ в файл .env:

...
# EXIST Application Settings
EXIST_SECRET_KEY="70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@"
...

Миграция базы данных

$ python manage.py makemigrations exploit reputation threat threat_hunter twitter twitter_hunter news news_hunter vuln
$ python manage.py migrate

Установка Redis-сервера

Reputation Tracker использует Redis в качестве серверной части кеша для Celery.

CentOS 7

$ sudo yum install redis
$ sudo systemctl start redis
$ sudo systemctl enable redis

Ubuntu 18.04 LTS

$ sudo apt install redis-server
$ sudo systemctl start redis-server
$ sudo systemctl enable redis-server

Настройка Celery

Reputation Tracker использует Celery как асинхронную очередь задач.

Создайте конфигурацию Celery. Рекомендую разместить конфиг по следующим путям:
- CentOS 7: /etc/sysconfig/celery
- Ubuntu 18.04 LTS: /etc/celery.conf

# Name of nodes to start
# here we have a single node
CELERYD_NODES="w1"
# or we could have three nodes:
#CELERYD_NODES="w1 w2 w3"

# Absolute or relative path to the 'celery' command:
CELERY_BIN="/path/to/your/celery"

# App instance to use
# comment out this line if you don't use an app
CELERY_APP="intelligence"
# or fully qualified:
#CELERY_APP="proj.tasks:app"

# How to call manage.py
CELERYD_MULTI="multi"

# Extra command-line arguments to the worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"

# - %n will be replaced with the first part of the nodename.
# - %I will be replaced with the current child process index
# and is important when using the prefork pool to avoid race conditions.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"

Создайте скрипт управления службой Celery в /etc/systemd/system/celery.service. Также необходимо указать путь к вашему конфигурационному файлу Celery в EnvironmentFile.

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=YOUR_USER
Group=YOUR_GROUP
EnvironmentFile=/etc/sysconfig/celery
WorkingDirectory=/path/to/your/exist
ExecStart=/bin/sh -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'
ExecStop=/bin/sh -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
--pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/sh -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target

Создайте каталоги для логов и запуска Celery.

$ sudo mkdir /var/log/celery; sudo chown YOUR_USER:YOUR_GROUP /var/log/celery
$ sudo mkdir /var/run/celery; sudo chown YOUR_USER:YOUR_GROUP /var/run/celery

Создайте файл конфигурации в /etc/tmpfiles.d/exist.conf

#Type  Path               Mode  UID        GID         Age  Argument
d      /var/run/celery    0755  YOUR_USER  YOUR_GROUP  -

Запустите Celery

$ sudo systemctl start celery.service
$ sudo systemctl enable celery.service

Запуск веб-сервера

$ python manage.py runserver 0.0.0.0:8000

Откройте в браузере http://[YourWebServer]:8000.
WebAPI: http://[YourWebServer]:8000/api/

Примечание: Рекомендую использовать Nginx и uWSGI при запуске в производственной среде.

Сбор фидов

Скрипты для вставки фидов в базу данных находятся в scripts/insert2db/*/insert2db.py.

exist

Популярное