EtherBlob Explorer

GitHub top language GitHub release (latest by date) GitHub

Busca y extrae archivos blob en la red Ethereum usando la API de Etherscan.io.

thumbnail

Introducción

EtherBlob Explorer es una herramienta pensada para investigadores, analistas, participantes de CTF o cualquier persona curiosa que desee buscar diferentes tipos de archivos o cualquier dato significativo proporcionado por humanos en la red blockchain de Ethereum. Busca en un rango de IDs de bloques o marcas de tiempo UNIX proporcionado por el usuario en cualquiera de las 5 redes disponibles: MainNet, Görli, Kovan, Rinkeby y Ropsten.

Para un caso real puedes leer este experimento realizado en 2017. La inmutabilidad de la blockchain puede ser verdaderamente una espada de doble filo.

Instalación

Ejecuta el siguiente comando:

$ pip install git+https://github.com/litneet64/etherblob-explorer.git

Ahora está listo para usar desde tu CLI; ¡abajo encontrarás algunos ejemplos de uso comunes!

Características

Redes

Busca en cualquiera de las cinco redes Ethereum:

MainNet
Görli
Kovan
Rinkeby
Ropsten

Ubicaciones de búsqueda

Esta herramienta puede buscar en las siguientes ubicaciones, ya sea por separado o combinando cualquiera de ellas en la misma ejecución:

Datos de entrada de transacción: busca dentro de los datos de entrada de una transacción (ubicación por defecto).
Datos de entrada de bloque: busca dentro de los datos de entrada de un bloque.
Almacenamiento de contrato: busca dentro del array de almacenamiento de un contrato en las primeras N posiciones de 32 bytes, tratándolo todo como una gran cadena de datos.
Direcciones 'To': busca añadiendo las direcciones 'to' como posible entrada [*] (primero verifica cabeceras de archivo y vuelve a verificar cuando todos los datos se han recolectado usando binwalk).

[*] Almacenar datos en direcciones 'to' es posible en la red Ethereum ya que no hay verificación si se envía a una dirección que no tiene claves de cuenta asociadas. Esto significa que puedes hacer transacciones a direcciones arbitrarias para construir un payload a lo largo de varias transacciones de 20 bytes (es muy raro, pero también lo son algunos desafíos de CTF).

Métodos de búsqueda y extracción

Todos estos métodos pueden usarse por separado o en cualquier combinación:

Archivos incrustados: busca archivos incrustados dentro de los datos usando binwalk.
Cabeceras de archivo / Magic Bytes: busca usando cabeceras + magic bytes mediante la utilidad de Linux file (método por defecto).
Volcado de cadenas ASCII: busca cadenas ASCII dentro de los datos.
Búsqueda basada en entropía: usa la entropía de Shannon como herramienta de medición para buscar texto en lenguaje natural (ej. UTF-8 Unicode), archivos cifrados/comprimidos o cualquier cosa que el usuario considere viable con límites de entropía definidos por el usuario.

IMPORTANTE: El orden mostrado aquí se usa internamente para descartar búsquedas con otros métodos (ej. si se encuentra un archivo mediante archivos incrustados, no se intentará buscar usando cabeceras de archivo, volcado de cadenas ASCII ni entropía) ya que no es probable encontrar algo significativo si los métodos anteriores ya tuvieron éxito.

Varios

Acepta marcas de tiempo UNIX (en lugar de IDs de bloque) que se resuelven en los IDs de bloque más cercanos confirmados en esos momentos.
Guarda todos los datos de las transacciones visitadas en un archivo para su revisión posterior.
Almacena los registros mostrados en la CLI en un archivo para su posterior análisis de archivos extraídos.
Ignora formatos de archivo proporcionados por el usuario (sin distinción entre mayúsculas y minúsculas) para la extracción y acepta subcadenas del formato de archivo completo para la lista negra.
Muestra métricas de progreso general (ej. cuántos bloques/transacciones se han procesado, cuántos bloques quedan) cada minuto y también muestra algunas métricas interesantes al final de la ejecución actual.
¡Más características útiles en el manual (-h)!

Uso

Casos de uso comunes

Búsqueda estándar (busca dentro de transacciones mediante cabeceras de archivo) en MainNet con clave API en ubicación predeterminada (.api-key) y entre estos dos IDs de bloque (inclusive):

$ etherblob 4081599 4081600

Búsqueda más exhaustiva (busca archivos incrustados + método de búsqueda normal) en la red goerli con clave dentro de un archivo arbitrario:

$ etherblob -K api.key 3134050 3145570 -M -H --network goerli

Busca en cabeceras de bloque y transacciones al mismo tiempo y guarda los archivos extraídos en 'extracted':

$ etherblob 4081599 4081600 --blocks --transactions -D extracted/

Busca solo dentro de direcciones 'to' en el rango de bloques confirmados entre Jan 25 2021 19:00:00 y Jan 26 2021 19:00:00:

$ etherblob -t 1611601200 1611687600 --addresses

Busca solo cadenas en el almacenamiento de contratos y para las primeras 4 posiciones del array de almacenamiento (128 bytes de datos):

$ etherblob 3911697 3912697 -S --contracts -C 4

Busca solo dentro de transacciones datos cifrados/comprimidos (ignorando cualquier otro formato de archivo):

$ etherblob 4081599 4081600 --encrypted

Busca dentro de transacciones archivos de entropía personalizada mientras guarda las transacciones en un archivo:

$ etherblob  3911697 3912697 -E 4.0 5.0 -s

Solo volcar cadenas ASCII en bloques y transacciones realizadas en Nochebuena (entre el 24 y 25):

$ etherblob -t 1608836400 1608922800 --blocks --transactions --strings

Búsqueda completa (lenta, espera muchos falsos positivos):

$ etherblob 4081599 4081600 -U -S -M -H --blocks --transactions --addresses --contracts

Casos de uso avanzados

¡Hay más explicaciones para casos de uso avanzados y las cosas encontradas con ellos en la wiki!

Manual

usage: etherblob [-h] [--transactions] [--blocks] [--addresses] [--contracts]
                 [--network {main,goerli,kovan,rinkeby,ropsten}] [-H] [-M] [-U] [-E CUSTOM_ENTROPY CUSTOM_ENTROPY]
                 [--encrypted] [-S] [-C CONTRACT_POSITION] [-t] [-K API_KEY_PATH] [-k API_KEY] [-D OUTPUT_DIR]
                 [-o OUT_LOG] [-s] [-i [IGNORED_FMT [IGNORED_FMT ...]]] [--version]
                 start_block end_block

Tool to search and extract blob files on the Ethereum Network.

positional arguments:
  start_block           Start of block id range.
  end_block             End of block id range.

optional arguments:
  -h, --help            show this help message and exit
  --transactions        Search for blob files on transaction inputs. Default search mode.
  --blocks              Search for blob files on block inputs. If enabled then transaction input check is disabled unless
                        explicitly enabled.
  --addresses           Search for blob files on 'to' transaction addresses, as on Ethereum anyone can make transactions
                        to an arbitrary address even if it has no related owner (still not very common). If enabled then
                        transaction's input check is disabled unless explicitly enabled.
  --contracts           Search for blob files on contract's storage. If enabled then transaction input check is disabled
                        unless explicitly enabled.
  --network {main,goerli,kovan,rinkeby,ropsten}, -N {main,goerli,kovan,rinkeby,ropsten}
                        Choose blockchain network to search in. Available choices are Main, Goerli (Görli), Kovan, Rinkeby
                        and Ropsten. MainNet is the default network. Case-insensitive.
  -H, --file-header     If enabled, search for file formats via magic bytes/file headers on data (from blocks,
                        transactions or addresses). Enabled by default unless another method is enabled too.
  -M, --embedded        If enabled, search for embedded files on data (from blocks, transactions or addresses) via
                        binwalk. Disabled by default as parsing now takes longer.
  -U, --unicode         If enabled, attempt to search and dump files containing UTF-8 text from harvested data (blocks,
                        transactions, addresses) using Shannon's Entropy (between 3.5 and 5.0) if no other discernible
                        file is found first on that data. Yields many false positives.
  -E CUSTOM_ENTROPY CUSTOM_ENTROPY, --custom-entropy CUSTOM_ENTROPY CUSTOM_ENTROPY
                        Define your own entropy limits (min and max) to search for files/data on harvested data.
  --encrypted           If enabled, attempt to search and dump encrypted/compressed data found via different search
                        methods (blocks, transactions, addresses) using Shannon's Entropy (between 7.0 and 8.0) if no
                        other discernible file is found first on that data.
  -S, --strings         If enabled, attempt to search and dump ASCII strings into files found inside harvested data
                        (blocks, transactions, addresses) if no other discernible file is found first on that data.
  -C CONTRACT_POSITION, --contract-position CONTRACT_POSITION
                        Search inside contract's data until reaching the (N-1)th position on its storage array. Positions
                        contain 32 bytes worth of data. Count starts at 0 and default pos is the 15th pos (16 indexes in
                        total) if no custom position is given.
  -t, --timestamps      If enabled, then start and end block IDs are interpreted as UNIX timestamps that are then resolved
                        to the closest commited blocks for those specific times.
  -K API_KEY_PATH, --api-key-path API_KEY_PATH
                        Path to file with Etherscan API key for queries. Default search location is '.api-key'.
  -k API_KEY, --api-key API_KEY
                        Etherscan API key as parameter. If given then '--api-key-path' is ignored.
  -D OUTPUT_DIR, --output-dir OUTPUT_DIR
                        Out-dir for extracted files. Default is 'ext_{start block}-{end block}'.
  -o OUT_LOG, --out-log OUT_LOG
                        Out-file for logs. Default is 'etherblob_{start block}-{end block}.log'.
  -s, --save-transactions
                        If enabled, all transactions and their info are stored at file 'transactions_{start-block}-{end-
                        block}.txt'
  -i [IGNORED_FMT [IGNORED_FMT ...]], --ignored-fmt [IGNORED_FMT [IGNORED_FMT ...]]
                        Ignored file formats for extraction. Default ignored/common file formats are 'ISO-8859 text' and
                        'Non-ISO extended-ASCII text'. The 'data' file format is always ignored. Accepts file format
                        substrings and makes case-insensitive matches. '*' is a wildcard to ignore all file formats.
  --version             show program's version number and exit

Official GitHub repo 'https://github.com/litneet64/etherblob-explorer'

etherblob-explorer

Más Populares