misp-dashboard

Ein Dashboard, das Live-Daten und Statistiken aus den ZMQ-Feeds einer oder mehrerer MISP-Instanzen anzeigt. Das Dashboard kann als Echtzeit-Lagebewusstseinswerkzeug genutzt werden, um Informationen zur Bedrohungsanalyse zu sammeln. Das MISP-Dashboard enthält ein Gamification-Werkzeug, um die Beiträge jeder Organisation und deren Rangfolge im Zeitverlauf anzuzeigen. Das Dashboard kann für SOCs (Security Operation Centers), Sicherheitsteams oder während Cyber-Übungen verwendet werden, um zu verfolgen, was auf Ihren verschiedenen MISP-Instanzen verarbeitet wird.

Funktionen

Live-Dashboard

• Möglichkeit, mehrere ZMQ-Feeds von verschiedenen MISP-Instanzen zu abonnieren
• Zeigt sofortige Beiträge von Organisationen an
• Zeigt live auflösbare gepostete Geolokalisierungen an

Geolokalisierungs-Dashboard

• Stellt historische geolokalisierte Informationen bereit, um Sicherheitsteams, CSIRTs oder SOCs bei der Suche nach Bedrohungen in ihrem Zuständigkeitsbereich zu unterstützen
• Möglichkeit, georäumliche Informationen aus bestimmten Regionen zu erhalten

Mitwirkenden-Dashboard

Zeigt:

• Den monatlichen Rang aller Organisationen
• Die letzte Organisation, die beigetragen hat (dynamische Aktualisierungen)
• Das Beitragsniveau aller Organisationen
• Jede Kategorie der Beiträge pro Organisation
• Die aktuelle Rangfolge der ausgewählten Organisation (dynamische Aktualisierungen)

Enthält:

• Gamification der Plattform:
  • Zwei verschiedene Rangstufen mit einzigartigen Symbolen
  • Exklusive erhältliche Abzeichen für Quellcode-Mitwirkende und Spender

Benutzer-Dashboard

• Zeigt, wann und wie die Plattform genutzt wird:
  • Anmelde-Stempelkarte und Beiträge im Zeitverlauf
  • Beitrag vs. Anmeldung

Trending-Dashboard

• Stellt Echtzeitinformationen bereit, um Sicherheitsteams, CSIRTs oder SOCs zu unterstützen, die aktuelle Bedrohungen und Aktivitäten anzeigen
  • Zeigt die aktivsten Ereignisse, Kategorien und Tags
  • Zeigt Sichtungen und Diskussionen im Zeitverlauf

Installation

Vor der Installation beachten Sie, dass die einzigen unterstützten Systeme quelloffene Unix-ähnliche Betriebssysteme wie Linux und andere sind.

1. Sie müssen ein kostenloses MaxMind-Konto erstellen.
2. Legen Sie Ihr Passwort fest und erstellen Sie einen Lizenzschlüssel 2.1 Notieren Sie sich Ihren Lizenzschlüssel – er wird bei der Installation benötigt.

• Führen Sie ./install_dependencies.sh aus dem MISP-Dashboard-Verzeichnis aus (idempotent-ähnlich)
• Aktualisieren Sie die Konfigurationsdatei config.cfg, damit sie Ihrem System entspricht
  • Felder, die Sie ändern können:
    • RedisGlobal -> host
    • RedisGlobal -> port
    • RedisGlobal -> zmq_url
    • RedisGlobal -> misp_web_url
    • RedisMap -> pathMaxMindDB

Aktualisieren durch Pull

• Führen Sie ./install_dependencies.sh erneut aus, um neue erforderliche Abhängigkeiten abzurufen
• Aktualisieren Sie Ihre Konfigurationsdatei config.cfg erneut, indem Sie eventuelle Änderungen in config.cfg.default vergleichen

⚠️ Stellen Sie sicher, dass keine zmq-Python3-Skripte ausgeführt werden. Sie blockieren das Update.

+ virtualenv -p python3 DASHENV
Already using interpreter /usr/bin/python3
Using base prefix '/usr'
New python executable in /home/steve/code/misp-dashboard/DASHENV/bin/python3
Traceback (most recent call last):
  File "/usr/bin/virtualenv", line 9, in <module>
    load_entry_point('virtualenv==15.0.1', 'console_scripts', 'virtualenv')()
  File "/usr/lib/python3/dist-packages/virtualenv.py", line 719, in main
    symlink=options.symlink)
  File "/usr/lib/python3/dist-packages/virtualenv.py", line 942, in create_environment
    site_packages=site_packages, clear=clear, symlink=symlink))
  File "/usr/lib/python3/dist-packages/virtualenv.py", line 1261, in install_python
    shutil.copyfile(executable, py_executable)
  File "/usr/lib/python3.5/shutil.py", line 115, in copyfile
    with open(dst, 'wb') as fdst:
OSError: [Errno 26] Text file busy: '/home/steve/code/misp-dashboard/DASHENV/bin/python3'

• Starten Sie das System neu: ./start_all.sh ODER ./start_zmq.sh und ./server.py &

System starten

⚠️ Sie sollten es nicht als root ausführen. Normale Berechtigungen sind ausreichend.

• Stellen Sie sicher, dass ein Redis-Server läuft
  • z.B. redis-server --port 6250
• Aktivieren Sie Ihre virtuelle Umgebung . ./DASHENV/bin/activate
• Hören Sie auf den MISP-Feed, indem Sie den zmq_subscriber starten ./zmq_subscriber.py &
• Starten Sie den Dispatcher, um empfangene Nachrichten zu verarbeiten ./zmq_dispatcher.py &
• Starten Sie den Flask-Server ./server.py &
• Greifen Sie auf die Benutzeroberfläche unter http://localhost:8001/ zu

Alternativ können Sie das Skript start_all.sh ausführen, um die oben beschriebenen Befehle auszuführen.

Authentifizierung

Die Authentifizierung kann in config/config.cfg aktiviert werden, indem auth_enabled = True gesetzt wird. Benutzer müssen sich bei MISP anmelden und können fortfahren, wenn die Benutzereinstellung dashboard_access für das MISP-Benutzerkonto auf 1 gesetzt ist.

Debug

Debuggen macht Spaß und liefert mehr Details darüber, was passiert, wenn etwas schiefgeht. Beachten Sie, dass die Ausführung von Flask im Debug-Modus NICHT für die Produktion geeignet ist; wenn aktiviert, gelangen Sie in eine Python-Shell, um weitere Untersuchungen durchzuführen. Führen Sie unmittelbar vor der Ausführung von ./server.py Folgendes aus:

export FLASK_DEBUG=1
export FLASK_APP=server.py
flask run --host=0.0.0.0 --port=8001 # <- Be careful here, this exposes it on ALL ip addresses. Ideally if run locally --host=127.0.0.1

ODER schalten Sie einfach das Debug-Flag in start_all.sh oder config.cfg um.

Happy Hacking ;)

Neustart von Grund auf

Um von Grund auf neu zu starten und alle Daten Ihres Dashboards zu leeren, können Sie das spezielle Bereinigungsskript clean.py verwenden

Clean data stored in the redis server specified in the configuration file

optional arguments:
  -h, --help    show this help message and exit
  -b, --brutal  Perfom a FLUSHALL on the redis database. If not set, will use
                a soft method to delete only keys used by MISP-Dashboard.

Anmerkungen zu ZMQ

Da das MISP-Dashboard in Bezug auf MISP zustandslos ist, kann es nur die empfangenen Daten verarbeiten. Das bedeutet: Wenn Ihr MISP nicht alle Benachrichtigungen an seinen ZMQ veröffentlicht, werden sie im MISP-Dashboard nicht angezeigt. Das relevanteste Beispiel könnte die Benutzer-Anmeldestempelkarte sein. Wenn Ihr MISP die Option Plugin.ZeroMQ_audit_notifications_enable nicht auf true gesetzt hat, bleibt die Stempelkarte leer.

Dashboard zeigt keine Ergebnisse an - Kein Modul namens zmq

Wenn das MISP-Dashboard keine Ergebnisse anzeigt, überprüfen Sie zunächst, ob das zmq-Modul in MISP korrekt installiert ist.

In Administration, Plugin-Einstellungen, ZeroMQ überprüfen Sie, ob Plugin.ZeroMQ_enable auf True gesetzt ist.

Veröffentlichen Sie ein Testereignis von MISP über ZMQ unter Ereignisaktionen, Ereignis an ZMQ veröffentlichen.

Überprüfen Sie die Logdateien

${PATH_TO_MISP}/app/tmp/log/mispzmq.error.log
${PATH_TO_MISP}/app/tmp/log/mispzmq.log

Wenn ein Fehler ModuleNotFoundError: No module named 'zmq' auftritt, installieren Sie pyzmq.

$SUDO_WWW ${PATH_TO_MISP}/venv/bin/pip install pyzmq

zmq_subscriber Optionen

Ein zmq-Abonnent. Er abonniert einen ZMQ und leitet ihn dann an das MISP-Dashboard weiter.

optional arguments:
  -h, --help            show this help message and exit
  -n ZMQNAME, --name ZMQNAME
                        Name des ZMQ-Feeds
  -u ZMQURL, --url ZMQURL
                        URL, zu der verbunden werden soll

Bereitstellung in der Produktion mit mod_wsgi

Installieren Sie Apache mod-wsgi für Python3

sudo apt-get install libapache2-mod-wsgi-py3

Hinweis: Wenn Sie bereits mod-wsgi für Python2 installiert haben, wird es ersetzt!

The following packages will be REMOVED:
  libapache2-mod-wsgi
The following NEW packages will be installed:
  libapache2-mod-wsgi-py3

Die Konfigurationsdatei /etc/apache2/sites-available/misp-dashboard.conf geht davon aus, dass misp-dashboard in /var/www/misp-dashboard geklont wurde. In diesem Beispiel läuft es als Benutzer misp. Ändern Sie die Berechtigungen für Ihren benutzerdefinierten Ordner und Ihre Dateien entsprechend.

<VirtualHost *:8001>
    ServerAdmin [email protected]
    ServerName misp.local

    DocumentRoot /var/www/misp-dashboard
    
    WSGIDaemonProcess misp-dashboard \
       user=misp group=misp \
       python-home=/var/www/misp-dashboard/DASHENV \
       processes=1 \
       threads=15 \
       maximum-requests=5000 \
       listen-backlog=100 \
       queue-timeout=45 \
       socket-timeout=60 \
       connect-timeout=15 \
       request-timeout=60 \
       inactivity-timeout=0 \
       deadlock-timeout=60 \
       graceful-timeout=15 \
       eviction-timeout=0 \
       shutdown-timeout=5 \
       send-buffer-size=0 \
       receive-buffer-size=0 \
       header-buffer-size=0 \
       response-buffer-size=0 \
       server-metrics=Off

    WSGIScriptAlias / /var/www/misp-dashboard/misp-dashboard.wsgi

    <Directory /var/www/misp-dashboard>
        WSGIProcessGroup misp-dashboard
        WSGIApplicationGroup %{GLOBAL}
        Require all granted
    </Directory>

    LogLevel info
    ErrorLog /var/log/apache2/misp-dashboard.local_error.log
    CustomLog /var/log/apache2/misp-dashboard.local_access.log combined
    ServerSignature Off
</VirtualHost>

Lizenz

    Copyright (C) 2017-2021 CIRCL - Computer Incident Response Center Luxembourg (c/o smile, security made in Lëtzebuerg, Groupement d'Intérêt Economique)
    Copyright (c) 2017-2020 Sami Mokaddem

    This program is free software: you can redistribute it and/or modify
    it under the terms of the GNU Affero General Public License as published by
    the Free Software Foundation, either version 3 of the License, or
    (at your option) any later version.

    This program is distributed in the hope that it will be useful,
    but WITHOUT ANY WARRANTY; without even the implied warranty of
    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
    GNU Affero General Public License for more details.

    You should have received a copy of the GNU Affero General Public License
    along with this program.  If not, see <http://www.gnu.org/licenses/>.

Bilder und Logos wurden handgefertigt für:

• rankingMISPOrg/
• rankingMISPMonthly/
• MISPHonorableIcons/

Beachten Sie, dass:

• Ein Teil von MISPHonorableIcons/1.svg stammt von octicons.github.com (CC0 - No Rights Reserved)
• Ein Teil von MISPHonorableIcons/2.svg stammt von Zeptozephyr (CC0 - No Rights Reserved)
• Ein Teil von MISPHonorableIcons/3.svg stammt von octicons.github.com (CC0 - No Rights Reserved)
• Ein Teil von MISPHonorableIcons/4.svg stammt von Zeptozephyr & octicons.github.com (CC0 - No Rights Reserved)
• Ein Teil von MISPHonorableIcons/5.svg stammt von Zeptozephyr & octicons.github.com (CC0 - No Rights Reserved)