EtherBlob Explorer

Suche und extrahiere Blob-Dateien im Ethereum-Netzwerk mithilfe der Etherscan.io API.

Einführung

EtherBlob Explorer ist ein Werkzeug für Forscher, Analysten, CTF-Spieler oder jeden Neugierigen, der nach verschiedenen Dateiarten oder jeglichen sinnvollen, von Menschen bereitgestellten Daten im Ethereum-Blockchain-Netzwerk suchen möchte. Es durchsucht einen benutzerdefinierten Bereich von Block-IDs oder UNIX-Zeitstempeln in einem der 5 verfügbaren Netzwerke: MainNet, Görli, Kovan, Rinkeby und Ropsten.

Ein reales Anwendungsbeispiel findest du in diesem Experiment aus dem Jahr 2017. Die Unveränderlichkeit der Blockchain kann wahrlich ein zweischneidiges Schwert sein.

Installation

Führe den folgenden Befehl aus:

$ pip install git+https://github.com/litneet64/etherblob-explorer.git

Jetzt ist es bereit für die Verwendung über die CLI; unten findest du einige gängige Anwendungsbeispiele!

Funktionen

Netzwerke

Suche in einem der fünf Ethereum-Netzwerke:

• MainNet
• Görli
• Kovan
• Rinkeby
• Ropsten

Suchorte

Dieses Werkzeug kann an den folgenden Orten suchen, entweder einzeln oder in beliebiger Kombination im selben Durchlauf:

• Transaktions-Eingabedaten: Suche innerhalb der Eingabedaten einer Transaktion (Standardort).
• Block-Eingabedaten: Suche innerhalb der Eingabedaten eines Blocks.
• Vertragsspeicher: Suche innerhalb des Speicherarrays eines Vertrags an den ersten N 32-Byte-großen Positionen, wobei alles als eine große Datenzeichenfolge behandelt wird.
• Empfängeradressen: Suche, indem 'to'-Adressen als mögliche Eingabe angehängt werden [*] (zuerst Prüfung auf Datei-Header und erneute Prüfung, wenn alle Daten mittels binwalk gesammelt wurden).

[*] Das Speichern von Daten in 'to'-Adressen ist im Ethereum-Netzwerk möglich, da nicht überprüft wird, ob an eine Adresse gesendet wird, die keine zugehörigen Kontoschlüssel besitzt. Das bedeutet, du kannst Transaktionen an beliebige Adressen durchführen, um eine Nutzlast über mehrere 20-Byte-große Transaktionen zu basteln (sehr selten, aber einige CTF-Herausforderungen sind so).

Such- und Extraktionsmethoden

Alle diese Methoden können entweder einzeln oder in beliebiger Kombination verwendet werden:

• Eingebettete Dateien: Suche nach in Daten eingebetteten Dateien mit binwalk.
• Datei-Header / Magic Bytes: Suche mittels Headern und Magic Bytes unter Verwendung des Linux-Dienstprogramms file (Standardmethode).
• ASCII-String-Dump: Suche nach ASCII-Strings in Daten.
• Entropiebasierte Suche: Verwende die Shannon-Entropie als Messgröße, um nach natürlichsprachlichem Text (z. B. UTF-8 Unicode), verschlüsselten/komprimierten Dateien oder allem anderen, was der Benutzer für sinnvoll hält, mit benutzerdefinierten Entropiegrenzen zu suchen.

WICHTIG: Die hier gezeigte Reihenfolge wird intern verwendet, um Suchen mit anderen Methoden zu verwerfen (z. B. wenn eine Datei über eingebettete Dateien gefunden wird, wird nicht versucht, sie mit Datei-Header, ASCII-String-Dump oder Entropie zu suchen), da es unwahrscheinlich ist, etwas Sinnvolles zu finden, wenn vorherige Methoden bereits erfolgreich waren.

Sonstiges

• Akzeptiert UNIX-Zeitstempel (anstelle von Block-IDs), die in die nächstgelegenen zu diesen Zeiten bestätigten Block-IDs aufgelöst werden.
• Speichert alle Daten besuchter Transaktionen in einer Datei zur späteren Überprüfung.
• Speichert CLI-Logs in einer Datei zur späteren Analyse extrahierter Dateien.
• Ignoriert benutzerdefinierte Dateiformate (Groß-/Kleinschreibung egal) bei der Extraktion und akzeptiert Teilzeichenfolgen des vollständigen Dateiformats zum Blacklisting.
• Gibt jede Minute allgemeine Fortschrittsmetriken aus (z. B. wie viele Blöcke/Transaktionen geparst wurden, wie viele Blöcke übrig sind) und zeigt auch einige interessante Metriken am Ende des aktuellen Durchlaufs an.
• Weitere nützliche Funktionen findest du im Handbuch (-h)!

Verwendung

Häufige Anwendungsfälle

• Standardsuche (Suche innerhalb von Transaktionen über Datei-Header) auf MainNet mit API-Schlüssel im Standardort (.api-key) und zwischen diesen beiden Block-IDs (inklusive):

$ etherblob 4081599 4081600

• Gründlichere Suche (Suche nach eingebetteten Dateien + reguläre Suchmethode) im Görli-Netzwerk mit Schlüssel in einer beliebigen Datei:

$ etherblob -K api.key 3134050 3145570 -M -H --network goerli

• Gleichzeitige Suche über Block-Header und Transaktionen und Speichern extrahierter Dateien in 'extracted':

$ etherblob 4081599 4081600 --blocks --transactions -D extracted/

• Suche nur in 'to'-Adressen im Bereich von Blöcken, die zwischen 25. Jan. 2021 19:00:00 und 26. Jan. 2021 19:00:00 bestätigt wurden:

$ etherblob -t 1611601200 1611687600 --addresses

• Nur Strings in Vertragsspeichern suchen und für die ersten 4 Speicherarray-Positionen (128 Bytes Daten):

$ etherblob 3911697 3912697 -S --contracts -C 4

• Nur innerhalb von Transaktionen nach verschlüsselten/komprimierten Daten suchen (alle anderen Dateiformate ignorieren):

$ etherblob 4081599 4081600 --encrypted

• Innerhalb von Transaktionen nach Dateien mit benutzerdefinierter Entropie suchen und Transaktionen in Datei speichern:

$ etherblob  3911697 3912697 -E 4.0 5.0 -s

• Nur ASCII-Strings über Blöcke und Transaktionen am Heiligabend (zwischen dem 24. und 25.) ausgeben:

$ etherblob -t 1608836400 1608922800 --blocks --transactions --strings

• Vollständige Suche (langsam, viele Fehlalarme zu erwarten):

$ etherblob 4081599 4081600 -U -S -M -H --blocks --transactions --addresses --contracts

Fortgeschrittene Anwendungsfälle

Weitere Erläuterungen zu fortgeschrittenen Anwendungsfällen und den damit gefundenen Dingen findest du im Wiki!

Handbuch

usage: etherblob [-h] [--transactions] [--blocks] [--addresses] [--contracts]
                 [--network {main,goerli,kovan,rinkeby,ropsten}] [-H] [-M] [-U] [-E CUSTOM_ENTROPY CUSTOM_ENTROPY]
                 [--encrypted] [-S] [-C CONTRACT_POSITION] [-t] [-K API_KEY_PATH] [-k API_KEY] [-D OUTPUT_DIR]
                 [-o OUT_LOG] [-s] [-i [IGNORED_FMT [IGNORED_FMT ...]]] [--version]
                 start_block end_block

Tool to search and extract blob files on the Ethereum Network.

positional arguments:
  start_block           Start of block id range.
  end_block             End of block id range.