RITA (Real Intelligence Threat Analytics) im Jupyter Notebook

RITA ist ein Open-Source-Framework für Netzwerkverkehrsanalyse, gesponsert von Active Countermeasures

RITA-J ist die Implementierung der RITA-Funktionen im Jupyter Notebook. Ziel ist es, alle Arten von Firewall-/Proxy-/DNS-Logs zu unterstützen, die im CSV-, TSV- oder JSON-Format vorliegen, und die Analyse, Jagd und Erkennung potenzieller C2-Aktivitäten zu erleichtern, ohne zusätzliche Hardware und andere zu wartende Komponenten installieren zu müssen.

---

Der Beispieldatensatz wurde von Ali Alwashali (@ali_alwashali) geteilt. Er enthält:

• Zeek-Logs aus PCAP-Dateien von malware-traffic-analysis.net, von 2013 bis 2021
• Suricata-Warnungen, die durch die PCAP-Analyse ausgelöst wurden

Features

• Beaconing-Erkennung: Suche nach Anzeichen von Beaconing-Verhalten innerhalb und außerhalb Ihres Netzwerks
• DNS-Tunneling-Erkennung: Suche nach Anzeichen von DNS-basierten verdeckten Kanälen (TO DO)
• Blacklist-Prüfung: Blacklists abfragen, um nach verdächtigen Domains und Hosts zu suchen (TO DO)
• Weitere Funktionen werden hinzugefügt

Requirements

Firewall-/Proxy-Logs im CSV- oder JSON-Format. Wenn die Logs nicht geparst sind, ist vor der Analyse ein Parsing erforderlich.
Das/die Notebook(s) unterstützen CSV-Dateien. JSON erfordert manuelles Mapping. Einige hilfreiche Ressourcen zum Lesen und Parsen von JSON-Dateien:

• https://www.w3schools.com/python/pandas/pandas_json.asp
• https://towardsdatascience.com/how-to-parse-json-data-with-python-pandas-f84fbd0b1025
• https://towardsdatascience.com/how-to-convert-json-into-a-pandas-dataframe-100b2ae1e0d8
• https://www.scaler.com/topics/how-to-open-json-file-in-python/

Logs beschaffen und mit verschiedenen Logformaten arbeiten

Es gibt mehrere Möglichkeiten, Logs zu beschaffen.

• Lesen aus SIEM / DB / API
  • https://infosecjupyterthon.com/workshops/day1/day1-2-Acquiring-data.html
• Export von Logs aus dem SIEM in CSV/JSON
• Senden von Logs an einen Syslog-Server/-Connector -> Parsen -> Export in eine CSV/JSON-Datei
• Direkter Export von Logs in eine Datei, anschließende Konvertierung in CSV/JSON

Ein Beispiel für die Konvertierung von Fortinet-Logs:
https://github.com/lucky-luk3/Infosec_Notebooks/blob/main/Forti_VPN_Logs_Analysis-Public.ipynb

Fortinet-CSV-Log-Konverter

Das folgende Skript funktioniert möglicherweise mit allen Logdateien, die Key-Value-Pair-Logging verwenden.
https://github.com/N4SOC/fortilogcsv

Installation

Wird hinzugefügt

Verwendung

Wird hinzugefügt