subparse

Subparse ist ein modulares Framework, das von Josh Strochein, Aaron Baker und Odin Bernstein entwickelt wurde. Das Framework wurde entwickelt, um Malware-Dateien zu parsen und zu indizieren und die beim Parsen gefundenen Informationen in einem durchsuchbaren Web-Viewer darzustellen. Das Framework ist modular aufgebaut und nutzt eine Kern-Parsing-Engine, Parsing-Module sowie verschiedene Anreicherungsmodule (Enrichers), die den Malware-Indizes zusätzliche Informationen hinzufügen. Die Haupteingabewerte für das Framework sind Verzeichnisse mit Malware-Dateien, die von der Kern-Parsing-Engine oder einer benutzerdefinierten Parsing-Engine geparst werden, bevor zusätzliche Informationen von einer benutzerdefinierten Anreicherungs-Engine hinzugefügt werden – all dies, bevor die geparsten Informationen in einem Elasticsearch-Index indiziert werden. Die gesammelten Informationen können dann über einen Web-Viewer durchsucht und angezeigt werden, der auch Filterungen nach jedem aus einer Datei gewonnenen Wert ermöglicht. Derzeit gibt es 3 Parsing-Engines (die Standard-Parsing-Engines PEParser, OLEParser und ELFParser) und 2 Anreicherungs-Engines (ABUSEEnricher und CAPEEnricher).

Erste Schritte

Software-Anforderungen

Um mit Subparse zu beginnen, müssen einige erforderliche/empfohlene Programme installiert und eingerichtet werden, bevor die Software verwendet werden kann.

Zusätzliche Anforderungen

Nachdem die erforderliche/empfohlene Software auf Ihrem System installiert wurde, sind noch einige weitere Schritte erforderlich, um Subparse zu installieren.

sudo get apt install build-essential
pip3 install -r ./requirements.txt

docker-compose up

Installationsschritte

• Installationsschritte

Verwendung

Befehlszeilenoptionen

Verfügbare Befehlszeilenoptionen für subparse/parser/subparse.py:

Ergebnisse anzeigen

Um die Ergebnisse der Subparse-Parser anzuzeigen, navigieren Sie zu localhost:8080. Wenn die Seite nicht angezeigt wird, stellen Sie sicher, dass der Container in Docker gestartet ist und dass kein anderer Prozess auf Port 8080 läuft, der die Verfügbarkeit der Seite beeinträchtigen könnte.

Allgemeine gesammelte Informationen

Bevor ein Parser ausgeführt wird, werden allgemeine Informationen über die Beispieldatei gesammelt, unabhängig vom zugrunde liegenden Dateityp. Diese Informationen umfassen:

• MD5-Hash der Beispieldatei
• SHA256-Hash der Beispieldatei
• Name der Beispieldatei
• Größe der Beispieldatei
• Dateierweiterung der Beispieldatei
• Abgeleitete Dateierweiterung der Beispieldatei

Parser-Module

Parser werden NUR auf Beispieldateien ausgeführt, die dem Dateityp entsprechen. Beispielsweise werden PE-Dateien standardmäßig mit dem PEParser verarbeitet, da der Dateityp mit denen übereinstimmt, die der PEParser untersuchen kann.

Standardmodule

Enricher-Module

Diese Module sind optionale Module, die NUR ausgeführt werden, wenn sie über das Flag -e | --enrichers in der Befehlszeile angegeben werden.

Standardmodule

Entwicklung eigener Parser und Enricher

Die Webansicht von Subparse wurde mit Bootstrap für das CSS erstellt, sodass jedes integrierte Bootstrap-CSS bei der Entwicklung eigener benutzerdefinierter Parser/Enricher-Vue.js-Dateien verwendet werden kann. Wir haben für jede Komponente ein Beispiel bereitgestellt, um den Einstieg zu erleichtern, und haben außerdem einige benutzerdefinierte Widgets implementiert, um den Entwicklungsprozess zu vereinfachen und die Standardisierung bei der Darstellung von Informationen zu fördern. Alle Vue.js-Dateien werden verwendet, um Informationen aus dem benutzerdefinierten Parser/Enricher dynamisch anzuzeigen, und dienen als Vorlagen für die Daten.

Hinweis: Die Namenskonventionen für Klassen- und Dateinamen müssen streng eingehalten werden. Dies sollte zuerst überprüft werden, wenn Probleme auftreten, dass Ihr benutzerdefinierter Parser/Enricher nicht ausgeführt wird. Die Namenskonvention Ihres Parsers/Enrichers muss in allen Dateien und Klassennamen identisch sein.

• Python-Entwicklung
• Vue-Entwicklung
• Vue-Hilfsfunktionen

Protokollierung

Das Logger-Objekt ist eine Singleton-Implementierung des standardmäßigen Python-Loggers. Für eine ausführliche Nutzung lesen Sie bitte die Offizielle Dokumentation. Für Subparse empfehlen wir die Verwendung der folgenden Logging-Level für die Ausgabe:

• debug
• warning
• error
• critical
• exception
• log
• info

DANKSAGUNGEN

Diese Forschung sowie alle Mitautoren wurden durch den NSA-Zuschuss H98230-20-1-0326 unterstützt.