EtherBlob Explorer

Recherchez et extrayez des fichiers blob sur le réseau Ethereum en utilisant l'API Etherscan.io.

Introduction

EtherBlob Explorer est un outil destiné aux chercheurs, analystes, joueurs de CTF ou toute personne suffisamment curieuse souhaitant rechercher différents types de fichiers ou toute donnée humaine significative sur le réseau de la blockchain Ethereum. Il recherche sur une plage fournie par l'utilisateur d'ID de blocs ou de timestamps UNIX sur l'un des 5 réseaux disponibles : MainNet, Görli, Kovan, Rinkeby et Ropsten.

Pour un cas réel, vous pouvez lire cette expérience réalisée en 2017. L'immuabilité de la blockchain peut vraiment être une épée à double tranchant.

Installation

Exécutez la commande suivante :

$ pip install git+https://github.com/litneet64/etherblob-explorer.git

Il est maintenant prêt à être utilisé depuis votre CLI, vous trouverez quelques exemples d'utilisation courante ci-dessous !

Fonctionnalités

Réseaux

Recherchez sur l'un des cinq réseaux Ethereum :

• MainNet
• Görli
• Kovan
• Rinkeby
• Ropsten

Emplacements de recherche

Cet outil peut rechercher dans les emplacements suivants, séparément ou en combinant plusieurs lors d'une même exécution :

• Données d'entrée de transaction : recherche dans les données d'entrée des transactions (emplacement par défaut).
• Données d'entrée de bloc : recherche dans les données d'entrée des blocs.
• Stockage de contrat : recherche dans le tableau de stockage d'un contrat sur les N premières positions de 32 octets, en traitant le tout comme une grande chaîne de données.
• Adresses de destination : recherche en ajoutant les adresses 'to' comme entrée possible [*] (vérification d'abord des en-têtes de fichiers et revérification lorsque toutes les données sont récoltées en utilisant binwalk).

[*] Stocker des données sur des adresses 'to' est possible sur le réseau Ethereum car il n'y a pas de vérification si l'envoi se fait vers une adresse qui n'a pas de clés de compte associées. Cela signifie que vous pouvez effectuer des transactions vers des adresses arbitraires pour créer une charge utile sur plusieurs transactions de 20 octets (c'est très rare, mais certains défis CTF le sont aussi).

Méthodes de recherche et d'extraction

Toutes ces méthodes peuvent être utilisées séparément ou en combinaison :

• Fichiers intégrés : recherche de fichiers intégrés dans les données à l'aide de binwalk.
• En-têtes de fichiers / Octets magiques : recherche à l'aide d'en-têtes + octets magiques en utilisant l'utilitaire Linux file (méthode par défaut).
• Extraction de chaînes ASCII : recherche de chaînes ASCII dans les données.
• Recherche basée sur l'entropie : utilise l'entropie de Shannon comme outil de mesure pour rechercher du texte en langage naturel (par exemple, UTF-8 Unicode), des fichiers chiffrés/compressés ou tout ce que l'utilisateur juge viable avec des limites d'entropie fournies par l'utilisateur.

IMPORTANT : L'ordre présenté ici est utilisé en interne pour écarter les recherches avec d'autres méthodes (par exemple, si un fichier est trouvé via fichiers intégrés, il ne tentera pas de rechercher avec en-têtes de fichiers, extraction de chaînes ASCII ni entropie) car il est peu probable de trouver quelque chose de significatif si les méthodes précédentes ont déjà réussi.

Divers

• Accepte les horodatages UNIX (au lieu des ID de blocs) qui sont résolus en ID de blocs les plus proches validés à ces moments.
• Sauvegarde toutes les données des transactions visitées dans un fichier pour examen ultérieur.
• Stocke les logs affichés dans le CLI dans un fichier pour une analyse ultérieure des fichiers extraits.
• Ignore les formats de fichiers fournis par l'utilisateur (insensible à la casse) pour l'extraction et accepte les sous-chaînes du format de fichier complet pour le blocage.
• Affiche les métriques générales de progression (par exemple, combien de blocs/transactions ont été analysés, combien de blocs restent) chaque minute et affiche également quelques métriques intéressantes à la fin de l'exécution en cours.
• Plus de fonctionnalités utiles dans le manuel (-h) !

Utilisation

Cas d'utilisation courants

• Recherche standard (recherche dans les transactions via les en-têtes de fichiers) sur MainNet avec la clé API à l'emplacement par défaut (.api-key) et entre ces deux ID de blocs (inclus) :

$ etherblob 4081599 4081600

• Recherche plus approfondie (recherche de fichiers intégrés + méthode de recherche standard) sur le réseau goerli avec la clé dans un fichier arbitraire :

$ etherblob -K api.key 3134050 3145570 -M -H --network goerli

• Recherche sur les en-têtes de blocs et les transactions en même temps et sauvegarde les fichiers extraits dans 'extracted' :

$ etherblob 4081599 4081600 --blocks --transactions -D extracted/

• Recherche uniquement dans les adresses 'to' dans la plage des blocs validés entre Jan 25 2021 19:00:00 et Jan 26 2021 19:00:00 :

$ etherblob -t 1611601200 1611687600 --addresses

• Recherche de chaînes uniquement sur le stockage des contrats et pour les 4 premières positions du tableau de stockage (128 octets de données) :

$ etherblob 3911697 3912697 -S --contracts -C 4

• Recherche uniquement dans les transactions pour les données chiffrées/compressées (en ignorant tout autre format de fichier) :

$ etherblob 4081599 4081600 --encrypted

• Recherche dans les transactions pour des fichiers d'entropie personnalisés tout en sauvegardant les transactions dans un fichier :

$ etherblob  3911697 3912697 -E 4.0 5.0 -s

• Extraction uniquement des chaînes ASCII sur les blocs et transactions effectués la veille de Noël (entre le 24 et le 25) :

$ etherblob -t 1608836400 1608922800 --blocks --transactions --strings

• Recherche complète (lente, attendez-vous à de nombreux faux positifs) :

$ etherblob 4081599 4081600 -U -S -M -H --blocks --transactions --addresses --contracts

Cas d'utilisation avancés

Il y a plus d'explications pour les cas d'utilisation avancés et les choses trouvées avec eux sur le wiki !

Manuel

usage: etherblob [-h] [--transactions] [--blocks] [--addresses] [--contracts]
                 [--network {main,goerli,kovan,rinkeby,ropsten}] [-H] [-M] [-U] [-E CUSTOM_ENTROPY CUSTOM_ENTROPY]
                 [--encrypted] [-S] [-C CONTRACT_POSITION] [-t] [-K API_KEY_PATH] [-k API_KEY] [-D OUTPUT_DIR]
                 [-o OUT_LOG] [-s] [-i [IGNORED_FMT [IGNORED_FMT ...]]] [--version]
                 start_block end_block

Tool to search and extract blob files on the Ethereum Network.

positional arguments:
  start_block           Start of block id range.
  end_block             End of block id range.