misp-dashboard

Una dashboard che mostra dati in tempo reale e statistiche dai feed ZMQ di una o più istanze MISP. La dashboard può essere utilizzata come strumento di situational awareness in tempo reale per raccogliere informazioni sulle minacce. misp-dashboard include uno strumento di gamificazione per mostrare i contributi di ogni organizzazione e come vengono classificate nel tempo. La dashboard può essere utilizzata per SOC (Security Operation Centers), team di sicurezza o durante esercitazioni informatiche per tenere traccia di ciò che viene elaborato sulle varie istanze MISP.

Funzionalità

Dashboard in tempo reale

• Possibilità di iscriversi a più feed ZMQ da diverse istanze MISP
• Mostra i contributi immediati delle organizzazioni
• Visualizza le geolocalizzazioni risolvibili pubblicate in tempo reale

Dashboard di geolocalizzazione

• Fornisce informazioni geolocalizzate storiche per supportare team di sicurezza, CSIRT o SOC nell'individuare minacce all'interno della propria area di competenza
• Possibilità di ottenere informazioni geospaziali da regioni specifiche

Dashboard dei contributori

Mostra:

• La classifica mensile di tutte le organizzazioni
• L'ultima organizzazione che ha contribuito (aggiornamenti dinamici)
• Il livello di contribuzione di tutte le organizzazioni
• Ogni categoria di contributi per organizzazione
• La classifica corrente dell'organizzazione selezionata (aggiornamenti dinamici)

Include:

• Gamificazione della piattaforma:
  • Due diversi livelli di classifica con icone uniche
  • Distintivi ottenibili esclusivamente per contributori del codice sorgente e donatori

Dashboard utenti

• Mostra quando e come viene utilizzata la piattaforma:
  • Punchcard di login e contributi nel tempo
  • Contributi vs login

Dashboard delle tendenze

• Fornisce informazioni in tempo reale per supportare team di sicurezza, CSIRT o SOC mostrando minacce e attività correnti
  • Mostra gli eventi, le categorie e i tag più attivi
  • Mostra avvistamenti e discussioni nel tempo

Installazione

Prima di installare, considera che gli unici sistemi supportati sono sistemi operativi open source Unix-like come Linux e altri.

1. Dovrai creare un account MaxMind gratuito.
2. Imposta la tua password e crea una chiave di licenza 2.1 Prendi nota della tua chiave di licenza; è necessaria durante l'installazione.

• Esegui ./install_dependencies.sh dalla directory di MISP-Dashboard (idempotente-ish)
• Aggiorna il file di configurazione config.cfg in modo che corrisponda al tuo sistema
  • Campi che puoi modificare:
    • RedisGlobal -> host
    • RedisGlobal -> port
    • RedisGlobal -> zmq_url
    • RedisGlobal -> misp_web_url
    • RedisMap -> pathMaxMindDB

Aggiornamento tramite pull

• Riesegui ./install_dependencies.sh per scaricare nuove dipendenze necessarie
• Riaaggiorna il tuo file di configurazione config.cfg confrontando eventuali modifiche in config.cfg.default

⚠️ Assicurati che nessuno script zmq python3 sia in esecuzione. Bloccano l'aggiornamento.

+ virtualenv -p python3 DASHENV
Already using interpreter /usr/bin/python3
Using base prefix '/usr'
New python executable in /home/steve/code/misp-dashboard/DASHENV/bin/python3
Traceback (most recent call last):
  File "/usr/bin/virtualenv", line 9, in <module>
    load_entry_point('virtualenv==15.0.1', 'console_scripts', 'virtualenv')()
  File "/usr/lib/python3/dist-packages/virtualenv.py", line 719, in main
    symlink=options.symlink)
  File "/usr/lib/python3/dist-packages/virtualenv.py", line 942, in create_environment
    site_packages=site_packages, clear=clear, symlink=symlink))
  File "/usr/lib/python3/dist-packages/virtualenv.py", line 1261, in install_python
    shutil.copyfile(executable, py_executable)
  File "/usr/lib/python3.5/shutil.py", line 115, in copyfile
    with open(dst, 'wb') as fdst:
OSError: [Errno 26] Text file busy: '/home/steve/code/misp-dashboard/DASHENV/bin/python3'

• Riavvia il sistema: ./start_all.sh OPPURE ./start_zmq.sh e ./server.py &

Avvio del sistema

⚠️ Non dovresti eseguirlo come root. I privilegi normali sono sufficienti.

• Assicurati di avere un server redis in esecuzione
  • es. redis-server --port 6250
• Attiva il tuo virtualenv . ./DASHENV/bin/activate
• Ascolta il feed MISP avviando zmq_subscriber ./zmq_subscriber.py &
• Avvia il dispatcher per elaborare i messaggi ricevuti ./zmq_dispatcher.py &
• Avvia il server Flask ./server.py &
• Accedi all'interfaccia su http://localhost:8001/

In alternativa, puoi eseguire lo script start_all.sh per eseguire i comandi descritti sopra.

Autenticazione

L'autenticazione può essere abilitata in config/config.cfg impostando auth_enabled = True. Gli utenti dovranno effettuare il login su MISP e potranno procedere se l'impostazione User Setting dashboard_access è impostata su 1 per l'account utente MISP.

Debug

Il debug è divertente e fornisce maggiori dettagli su ciò che accade quando le cose falliscono. Tieni presente che eseguire Flask in debug NON è adatto alla produzione; se abilitato, ti porterà a una shell Python per approfondire ulteriormente.

Subito prima di eseguire ./server.py fai:

export FLASK_DEBUG=1
export FLASK_APP=server.py
flask run --host=0.0.0.0 --port=8001 # <- Fai attenzione qui, espone su TUTTI gli indirizzi IP. Idealmente se eseguito localmente --host=127.0.0.1

OPPURE, attiva semplicemente il flag di debug in start_all.sh o config.cfg.

Happy hacking ;)

Riavvia da zero

Per riavviare da zero e svuotare tutti i dati dalla dashboard, puoi utilizzare lo script di pulizia dedicato clean.py

Clean data stored in the redis server specified in the configuration file

optional arguments:
  -h, --help    show this help message and exit
  -b, --brutal  Perfom a FLUSHALL on the redis database. If not set, will use
                a soft method to delete only keys used by MISP-Dashboard.

Note su ZMQ

misp-dashboard, essendo stateless rispetto a MISP, può elaborare solo i dati che riceve. Ciò significa che se il tuo MISP non pubblica tutte le notifiche sul suo ZMQ, misp-dashboard non le avrà.

L'esempio più rilevante potrebbe essere il punchcard di login dell'utente. Se il tuo MISP non ha l'opzione Plugin.ZeroMQ_audit_notifications_enable impostata su true, il punchcard sarà vuoto.

La dashboard non mostra risultati - No module named zmq

Quando la dashboard non mostra risultati, controlla innanzitutto se il modulo zmq all'interno di MISP è installato correttamente.

In Administration, Plugin Settings, ZeroMQ verifica che Plugin.ZeroMQ_enable sia impostato su True.

Pubblica un evento di test da MISP a ZMQ tramite Event Actions, Publish event to ZMQ.

Verifica i file di log

${PATH_TO_MISP}/app/tmp/log/mispzmq.error.log
${PATH_TO_MISP}/app/tmp/log/mispzmq.log

Se c'è un errore ModuleNotFoundError: No module named 'zmq', installa pyzmq.

$SUDO_WWW ${PATH_TO_MISP}/venv/bin/pip install pyzmq

Opzioni di zmq_subscriber

A zmq subscriber. It subscribe to a ZMQ then redispatch it to the MISP-dashboard

optional arguments:
  -h, --help            show this help message and exit
  -n ZMQNAME, --name ZMQNAME
                        The ZMQ feed name
  -u ZMQURL, --url ZMQURL
                        The URL to connect to

Distribuzione in produzione con mod_wsgi

Installa Apache mod-wsgi per Python3

sudo apt-get install libapache2-mod-wsgi-py3

Avvertenza: Se hai già mod-wsgi installato per Python2, verrà sostituito!

The following packages will be REMOVED:
  libapache2-mod-wsgi
The following NEW packages will be installed:
  libapache2-mod-wsgi-py3

Il file di configurazione /etc/apache2/sites-available/misp-dashboard.conf presuppone che misp-dashboard sia clonato in /var/www/misp-dashboard. In questo esempio viene eseguito come utente misp. Modifica i permessi per la tua cartella personalizzata e i file di conseguenza.

<VirtualHost *:8001>
    ServerAdmin [email protected]
    ServerName misp.local

    DocumentRoot /var/www/misp-dashboard
    
    WSGIDaemonProcess misp-dashboard \
       user=misp group=misp \
       python-home=/var/www/misp-dashboard/DASHENV \
       processes=1 \
       threads=15 \
       maximum-requests=5000 \
       listen-backlog=100 \
       queue-timeout=45 \
       socket-timeout=60 \
       connect-timeout=15 \
       request-timeout=60 \
       inactivity-timeout=0 \
       deadlock-timeout=60 \
       graceful-timeout=15 \
       eviction-timeout=0 \
       shutdown-timeout=5 \
       send-buffer-size=0 \
       receive-buffer-size=0 \
       header-buffer-size=0 \
       response-buffer-size=0 \
       server-metrics=Off

    WSGIScriptAlias / /var/www/misp-dashboard/misp-dashboard.wsgi

    <Directory /var/www/misp-dashboard>
        WSGIProcessGroup misp-dashboard
        WSGIApplicationGroup %{GLOBAL}
        Require all granted
    </Directory>

    LogLevel info
    ErrorLog /var/log/apache2/misp-dashboard.local_error.log
    CustomLog /var/log/apache2/misp-dashboard.local_access.log combined
    ServerSignature Off
</VirtualHost>

Licenza

    Copyright (C) 2017-2021 CIRCL - Computer Incident Response Center Luxembourg (c/o smile, security made in Lëtzebuerg, Groupement d'Intérêt Economique)
    Copyright (c) 2017-2020 Sami Mokaddem

    This program is free software: you can redistribute it and/or modify
    it under the terms of the GNU Affero General Public License as published by
    the Free Software Foundation, either version 3 of the License, or
    (at your option) any later version.

    This program is distributed in the hope that it will be useful,
    but WITHOUT ANY WARRANTY; without even the implied warranty of
    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
    GNU Affero General Public License for more details.

    You should have received a copy of the GNU Affero General Public License
    along with this program.  If not, see <http://www.gnu.org/licenses/>.

Immagini e loghi sono realizzati a mano per:

• rankingMISPOrg/
• rankingMISPMonthly/
• MISPHonorableIcons/

Nota che:

• Parte di MISPHonorableIcons/1.svg proviene da octicons.github.com (CC0 - Nessun diritto riservato)
• Parte di MISPHonorableIcons/2.svg proviene da Zeptozephyr (CC0 - Nessun diritto riservato)
• Parte di MISPHonorableIcons/3.svg proviene da octicons.github.com (CC0 - Nessun diritto riservato)
• Parte di MISPHonorableIcons/4.svg proviene da Zeptozephyr & octicons.github.com (CC0 - Nessun diritto riservato)
• Parte di MISPHonorableIcons/5.svg proviene da Zeptozephyr & octicons.github.com (CC0 - Nessun diritto riservato)