EXIST (EXternal Information aggregation System against cyber Threat)

⚠️ Dieses Repository wird nicht mehr gewartet / ist archiviert. Sicherheitsprobleme werden nicht behoben.

EXIST ist eine Webanwendung zur Aggregation und Analyse von CTI (Cyber Threat Intelligence).

EXIST wurde mit folgender Software erstellt.

• Python 3
• Django 1.11

Konzept

EXIST ist eine Webanwendung zur Aggregation von CTI, die Sicherheitsoperatoren dabei unterstützt, Vorfälle anhand verwandter Indikatoren zu untersuchen.

EXIST ruft automatisch Daten von mehreren CTI-Diensten und Twitter über deren APIs und Feeds ab. Sie können Indikatoren über die Weboberfläche und die API übergreifend durchsuchen.

Wenn Sie Server haben, die das Netzwerkverhalten von Clients protokollieren (z. B. Logs von DNS- und HTTP-Proxy-Servern usw.), können Sie die Logs analysieren, indem Sie sie mit Daten in EXIST korrelieren. Wenn Sie Programme unter Verwendung der API implementieren, realisieren Sie ein automatisiertes, CTI-gesteuertes Security Operations Center.

Anwendungsfälle

Fall 1: Von IDS erkannte Domäne untersuchen

Geben Sie einfach die Domäne in das Suchformular ein.

Fall 2: Auf die bösartige URL im Namen des Benutzers zugreifen und das Browser-Bildschirmfoto sowie die herunterzuladenden Inhalte erfassen

Geben Sie einfach die URL in das Suchformular ein.

Fall 3: Cyber-Bedrohungen überwachen

Fügen Sie einfach Schlüsselwörter im Threat Hunter oder Twitter Hunter hinzu.

Funktionen

Tracker

Tracker sammelt automatisch Daten-Feeds von mehreren CTI-Diensten.

• Threat Tracker
• Reputation Tracker
• Twitter Tracker
• Exploit Tracker
• News Tracker
• Vuln Tracker

Hunter

Hunter ermöglicht es uns, Abfragen zum Sammeln von Daten von mehreren CTI-Diensten und Twitter festzulegen.

• Twitter Hunter
• Threat Hunter
• News Hunter

Lookup

Lookup ruft Informationen zu bestimmten Angaben (z. B. IP-Adresse, Domäne) von mehreren Internetdiensten (z. B. Whois) ab.

• IP Address
• Domain
• URL
• File Hash

Tools

Ein Tool zum Annotieren von Tweets aus dem Twitter-Tracker.

• Annotation Tool

Web-API

Stellt Daten aus der EXIST-Datenbank über die Web-API bereit.

• reputation
• twitter
• exploit
• threatEvent
• threatAttribute
• news
• vuln

Erste Schritte

Im Folgenden gehe ich von einer Umgebung mit CentOS 7 oder Ubuntu 18.04 LTS aus. Bitte handeln Sie auf eigenes Risiko, wenn Sie in andere Umgebungen bereitstellen.

Install python modules

$ sudo pip install -r requirements.txt

Install MariaDB

• CentOS 7

$ curl -sS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | sudo bash
$ sudo yum install MariaDB-server MariaDB-client

• Ubuntu 18.04 LTS

$ sudo apt install mariadb-server mariadb-client

Run database

$ sudo systemctl start mariadb
$ sudo systemctl enable mariadb

Database setting

• Datenbank und Benutzer erstellen.
• Erstellen Sie .env in Anlehnung an .env.example und bearbeiten Sie es entsprechend Ihren DB-Einstellungen.

Generate secret key for Django

Der geheime Schlüssel für Django muss in der .env-Datei eingetragen werden.

Führen Sie zuerst den Schlüsselgenerator aus:

$ python keygen.py
(example)> 70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@

und schreiben Sie den geheimen Schlüssel in die .env-Datei:

...
# EXIST Application Settings
EXIST_SECRET_KEY="70mm6h)()h3r&*b9xq$e52=-7($p=5983gfoyz%$d-j-gd7u5@"
...

Migrate database

$ python manage.py makemigrations exploit reputation threat threat_hunter twitter twitter_hunter news news_hunter vuln
$ python manage.py migrate

Install Redis server

Der Reputation Tracker verwendet Redis als Backend des Celery-Cache-Servers.

• CentOS 7

$ sudo yum install redis
$ sudo systemctl start redis
$ sudo systemctl enable redis

• Ubuntu 18.04 LTS

$ sudo apt install redis-server
$ sudo systemctl start redis-server
$ sudo systemctl enable redis-server

Setup Celery

Der Reputation Tracker verwendet Celery als asynchrone Aufgaben-Warteschlange.

• Erstellen Sie eine Celery-Konfiguration. Ich empfehle, die Konfiguration unter folgenden Pfaden zu speichern:
  • CentOS 7: /etc/sysconfig/celery
  • Ubuntu 18.04 LTS: /etc/celery.conf

# Name of nodes to start
# here we have a single node
CELERYD_NODES="w1"
# or we could have three nodes:
#CELERYD_NODES="w1 w2 w3"

# Absolute or relative path to the 'celery' command:
CELERY_BIN="/path/to/your/celery"

# App instance to use
# comment out this line if you don't use an app
CELERY_APP="intelligence"
# or fully qualified:
#CELERY_APP="proj.tasks:app"

# How to call manage.py
CELERYD_MULTI="multi"

# Extra command-line arguments to the worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"

# - %n will be replaced with the first part of the nodename.
# - %I will be replaced with the current child process index
# and is important when using the prefork pool to avoid race conditions.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"

• Erstellen Sie ein Dienstverwaltungsskript für Celery unter /etc/systemd/system/celery.service. Außerdem müssen Sie Ihren Celery-Konfigurationspfad in EnvironmentFile angeben.

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=YOUR_USER
Group=YOUR_GROUP
EnvironmentFile=/etc/sysconfig/celery
WorkingDirectory=/path/to/your/exist
ExecStart=/bin/sh -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'
ExecStop=/bin/sh -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
--pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/sh -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
-A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
--logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target

• Erstellen Sie Celery-Log- und Run-Verzeichnisse.

$ sudo mkdir /var/log/celery; sudo chown YOUR_USER:YOUR_GROUP /var/log/celery
$ sudo mkdir /var/run/celery; sudo chown YOUR_USER:YOUR_GROUP /var/run/celery

• Erstellen Sie eine Konfigurationsdatei in /etc/tmpfiles.d/exist.conf

#Type  Path               Mode  UID        GID         Age  Argument
d      /var/run/celery    0755  YOUR_USER  YOUR_GROUP  -

• Celery ausführen

$ sudo systemctl start celery.service
$ sudo systemctl enable celery.service

Run web server

$ python manage.py runserver 0.0.0.0:8000

• Greifen Sie mit Ihrem Browser auf http://[IhrWebServer]:8000 zu.
• Web-API: http://[IhrWebServer]:8000/api/

Hinweis: Ich empfehle, Nginx und uWSGI zu verwenden, wenn Sie in einer Produktionsumgebung arbeiten.

Collect feed

Skripte zum Einfügen von Feeds in die Datenbank befinden sich unter scripts/insert2db/*/insert2db.py.

Configure insert2db

• Konfigurationsdateien befinden sich unter scripts/insert2db/conf/insert2db.conf. Erstellen Sie sie in Anlehnung an insert2db.conf.template.
• Wenn Sie MISP verwenden, tragen Sie MISP-URL und API-Schlüssel in insert2db.conf ein.
• Wenn Sie Malshare verwenden, tragen Sie Ihren API-Schlüssel in insert2db.conf ein.
• Erstellen Sie Ihr Twitter-API-Konto unter https://developer.twitter.com/ für die Verfolgung mit EXIST.
• Erstellen Sie eine App für EXIST.
• Holen Sie sich Consumer API Key (CA), Consumer API Secret Key (CS), Access Token (AT) und Access Token Secret (AS).
• Tragen Sie CA, CS, AT, AS in insert2db.conf ein.

Run scripts

$ python scripts/insert2db/reputation/insert2db.py
$ python scripts/insert2db/twitter/insert2db.py
$ python scripts/insert2db/exploit/insert2db.py
$ python scripts/insert2db/threat/insert2db.py
$ python scripts/insert2db/news/insert2db.py
$ python scripts/insert2db/vuln/insert2db.py

Hinweis: Um die Informationssammlung zu automatisieren, tragen Sie sie in Ihren Cron ein.

Setting hunter

Twitter Hunter

Twitter Hunter kann Tweets mit bestimmten Schlüsselwörtern und Benutzer-ID erkennen. Bei Bedarf können Sie Slack benachrichtigen.

• Konfigurationsdateien befinden sich unter scripts/hunter/conf/hunter.conf. Erstellen Sie sie in Anlehnung an hunter.conf.template.
• Wenn Sie Slack verwenden, tragen Sie Ihren Slack-Token in hunter.conf ein.
• Erstellen Sie Ihr Twitter-API-Konto unter https://developer.twitter.com/.
• Erstellen Sie 18 Apps für EXIST.
• Holen Sie sich 18 Consumer API Keys (CA), Consumer API Secret Keys (CS), Access Tokens (AT) und Access Token Secrets (AS).
• Tragen Sie CA, CS, AT, AS für auth-hunter[00-18] in hunter.conf ein.
• Lassen Sie scripts/hunter/twitter/tw_watchhunter.py jede Minute per Cron ausführen, um den Twitter Hunter dauerhaft zu betreiben.

Threat Hunter

Threat Hunter kann Bedrohungsereignisse mit bestimmten Schlüsselwörtern erkennen. Bei Bedarf können Sie Slack benachrichtigen.

• Konfigurationsdateien befinden sich unter scripts/hunter/conf/hunter.conf. Erstellen Sie sie in Anlehnung an hunter.conf.template.
• Wenn Sie Slack verwenden, tragen Sie Ihren Slack-Token in hunter.conf ein.
• Lassen Sie scripts/hunter/threat/th_watchhunter.py jede Minute per Cron ausführen, um den Threat Hunter dauerhaft zu betreiben.

Other requirement tools and settings

VirusTotal API

EXIST verwendet die VirusTotal-API.

• Erstellen Sie Ihr VirusTotal-Konto.
• Tragen Sie Ihren API-Schlüssel in conf/vt.conf ein.

Hinweis: Sie erhalten mehr Informationen, wenn Sie einen privaten API-Schlüssel haben.

GeoIP DB

Lookup IP / Domain verwendet die GeoLite2-Datenbank.

• Download GeoIP DB von http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.mmdb.gz
• Tragen Sie den Pfad zu GeoLite2-City.mmdb in Ihrer conf/geoip.conf ein.

wkhtmltopdf and Xvfb

Lookup URL verwendet wkhtmltopdf und Xvfb.

• Download und Installation von wkhtmltopdf von https://wkhtmltopdf.org/downloads.html
• Xvfb installieren.

$ sudo yum install xorg-x11-server-Xvfb

Wenn Sie EXIST auf Ubuntu 18.04 LTS bereitstellen, können Sie diese Pakete mit apt installieren.

$ sudo apt install wkhtmltopdf xvfb

Flush old data

• Konfigurationsdateien befinden sich unter scripts/url/url.conf. Erstellen Sie sie in Anlehnung an url.conf.template.
• Lassen Sie scripts/url/delete_webdata.sh jeden Tag per Cron ausführen, um alte Lookup-URL-Daten zu löschen.
• Lassen Sie scripts/url/delete_oldtaskresult.sh jeden Tag per Cron ausführen, um alte Celery-Daten zu löschen.

AnnotationTool

Ein Annotationstool zum Erstellen von Trainingsdaten für Tweets. Dieses Tool ist für Machine-Learning-Forscher gedacht.

How to use

1. Überprüfen Sie das Annotationsziel.
2. Klicken Sie auf den Annotation-Button.
3. Wählen Sie das zu labelnde Wort aus.
4. Klicken Sie auf den Label-Button.
5. Speichern

Report vulnerability

Bitte mailen Sie uns, wenn Sie Sicherheitslücken finden.

Vulnerability Report Template

Credits

Dieses Produkt enthält GeoLite2-Daten, die von MaxMind erstellt wurden und von https://www.maxmind.com verfügbar sind.

License

MIT License © Cybersecurity Laboratory, NICT