mandiant/stringsifterEin Machine-Learning-Tool, das Strings basierend auf ihrer Relevanz für die Malware-Analyse einordnet.
StringSifter ist ein maschinelles Lernwerkzeug, das Zeichenketten automatisch nach ihrer Relevanz für die Malware-Analyse einstuft.
StringSifter erfordert Python Version 3.9 oder neuer. Führen Sie die folgenden Befehle aus, um den Code zu erhalten, Unit-Tests auszuführen und das Werkzeug zu nutzen:
pip install stringsifter
Für die Entwicklung verwenden Sie poetry:
git clone https://github.com/mandiant/stringsifter.git
cd stringsifter
poetry install --with dev
Um die Unit-Tests aus dem StringSifter-Installationsverzeichnis auszuführen:
poetry run tests -v
Der Befehl pip install installiert zwei ausführbare Skripte, flarestrings und rank_strings, in Ihre Python-Umgebung. Bei der Entwicklung aus dem Quellcode verwenden Sie pipenv run flarestrings und pipenv run rank_strings.
flarestrings ahmt Funktionen von strings aus GNU binutils nach, und rank_strings akzeptiert per Pipe übergebene Eingaben, zum Beispiel:
flarestrings <my_sample> | rank_strings
rank_strings unterstützt eine Reihe von Befehlszeilenargumenten. Das Positionsargument input_strings gibt eine Datei mit einzustufenden Zeichenketten an. Die optionalen Argumente sind:
Eingestufte Zeichenketten werden auf die Standardausgabe geschrieben, sofern nicht die Option --batch angegeben wird; in diesem Fall werden die eingestuften Ausgaben in Dateien mit dem Namen <input_file>.ranked_strings geschrieben.
flarestrings unterstützt die Option -n (bzw. --min-len), um Zeichenfolgen auszugeben, die mindestens min-len Zeichen lang sind, statt der standardmäßigen 4. Zum Beispiel:
flarestrings -n 8 <my_sample> | rank_strings
gibt nur Zeichenketten der Länge 8 oder mehr aus und stuft diese ein.
docker build -t stringsifter -f docker/Dockerfile .
flarestrings oder rank_strings ausführen, um den jeweiligen Befehl zu verwenden. Die containerisierten Befehle können in Pipelines verwendet werden:cat <my_sample> | docker run -i stringsifter flarestrings | docker run -i stringsifter rank_strings
-v verwendet wird, um ein Host-Verzeichnis für den Container verfügbar zu machen:docker run -v <my_malware>:/samples -it stringsifter
wobei <my_malware> die zu analysierenden Proben enthält, zum Beispiel:
docker run -v $HOME/malware/binaries:/samples -it stringsifter
flarestrings /samples/<my_sample> | rank_strings <options>
Alle Befehlszeilenargumente werden in den containerisierten Skripten unterstützt.
StringSifter kann auf beliebige Listen von Zeichenketten angewendet werden, was es für Praktiker nützlich macht, die Erkenntnisse aus alternativen Informationsquellen wie Live-Speicherauszügen, Sandbox-Läufen oder Binärdateien mit verschleierten Zeichenketten gewinnen möchten. Beispielsweise extrahiert der FireEye Labs Obfuscated Strings Solver (FLOSS) druckbare Zeichenketten wie Strings, zeigt aber zusätzlich verschleierte Zeichenketten, die codiert, gepackt oder manuell auf dem Stack konstruiert wurden. Es kann als direkter Ersatz für Strings verwendet werden, was bedeutet, dass StringSifter auf ähnliche Weise mit FLOSS-Ausgabe über den folgenden Befehl aufgerufen werden kann:
$PY2_VENV/bin/floss –q <options> <my_sample> | rank_strings <options>
Hinweise:
–q unterdrückt Kopfzeilen und Formatierungen, sodass nur extrahierte Zeichenketten angezeigt werden. Weitere Informationen zu zusätzlichen FLOSS-Optionen finden Sie in der Dokumentation zur Verwendung.floss oder rank_strings einen relativen Pfad enthalten, der auf eine Python-Virtualenv verweist.stringsDiese Distribution enthält das Programm flarestrings, um eine vorhersagbare Ausgabe über verschiedene Plattformen hinweg zu gewährleisten. Wenn Sie sich dafür entscheiden, das auf Ihrem System installierte strings auszuführen, beachten Sie, dass dessen Optionen nicht über Versionen und Plattformen hinweg konsistent sind:
Die meisten Linux-Distributionen enthalten das Programm strings aus GNU Binutils. Um sowohl "weite" als auch "schmale" Zeichenketten zu extrahieren, muss das Programm zweimal ausgeführt werden, wobei die Ausgabe in eine Datei umgeleitet wird:
strings <my_sample> > strs.txt # schmale Zeichenketten
strings -el <my_sample> >> strs.txt # weite Zeichenketten. beachten Sie das ">>"
Einige Versionen von BSD strings, die mit MacOS ausgeliefert werden, unterstützen keine weiten Zeichenketten. Beachten Sie außerdem, dass die Option -a zum Scannen der gesamten Datei in der Standardkonfiguration deaktiviert sein kann. Ohne -a können informative Zeichenketten verloren gehen. Wir empfehlen, GNU Binutils über Homebrew oder MacPorts zu installieren, um eine Version von strings zu erhalten, die weite Zeichen unterstützt. Achten Sie darauf, die korrekte Version von strings aufzurufen.
strings ist unter Windows standardmäßig nicht installiert. Wir empfehlen die Installation von Windows Sysinternals, Cygwin oder Malcode Analyst Pack, um ein funktionierendes strings zu erhalten.
Diese Version von StringSifter wurde mit Strings-Ausgaben von Beispiel-Malware-Binärdateien trainiert, die mit dem ersten EMBER-Datensatz verknüpft sind. Ordinale Labels wurden mithilfe von Verfahren der schwachen Überwachung erzeugt, und das überwachte Lernen erfolgt durch Gradient Boosted Decision Trees mit einer Learning-to-Rank-Zielfunktion. Weitere technische Details finden Sie unter Quick Links. Bitte beachten Sie, dass derzeit weder gelabelte Daten noch Trainingscode verfügbar sind, auch wenn wir diesen Ansatz in zukünftigen Versionen möglicherweise überdenken.
Wir verwenden GitHub Issues zum Melden von Fehlern und Feature-Wünschen.
flarestrings ist von dem hervorragenden Werkzeug FLOSS abgeleitet.| Option | Bedeutung |
|---|
| --scores (-s) | Rangbewertungen in die Ausgabe aufnehmen |
| --limit (-l) | Ausgabe auf die obersten limit eingestuften Zeichenketten begrenzen |
| --min-score (-m) | Ausgabe auf Zeichenketten mit Bewertung >= min-score begrenzen |
| --batch (-b) | Einen Ordner mit strings-Ausgaben für die Stapelverarbeitung angeben |