EtherBlob Explorer

GitHub top language GitHub release (latest by date) GitHub

Pesquise e extraia arquivos blob na rede Ethereum usando a API do Etherscan.io.

thumbnail

Introdução

EtherBlob Explorer é uma ferramenta destinada a pesquisadores, analistas, jogadores de CTF ou qualquer pessoa curiosa o suficiente que deseje procurar diferentes tipos de arquivos ou quaisquer dados significativos fornecidos por humanos na Rede Blockchain Ethereum. Ela pesquisa em um intervalo fornecido pelo usuário de IDs de bloco ou timestamps UNIX em qualquer uma das 5 redes disponíveis: MainNet, Görli, Kovan, Rinkeby e Ropsten.

Para um caso real, você pode ler este experimento feito em 2017. A imutabilidade do blockchain pode realmente ser uma faca de dois gumes.

Instalação

Execute o seguinte comando:

$ pip install git+https://github.com/litneet64/etherblob-explorer.git

Agora está pronto para usar a partir da sua CLI, você pode encontrar alguns exemplos de uso comuns abaixo!

Funcionalidades

Redes

Pesquise em qualquer uma das cinco redes Ethereum:

MainNet
Görli
Kovan
Rinkeby
Ropsten

Locais de Pesquisa

Esta ferramenta pode pesquisar nos seguintes locais, separadamente ou combinando qualquer um deles na mesma execução:

Dados de Entrada de Transação: pesquisar dentro dos dados de entrada da transação (local padrão).
Dados de Entrada de Bloco: pesquisar dentro dos dados de entrada do bloco.
Armazenamento de Contrato: pesquisar dentro do array de armazenamento de um contrato nas primeiras N posições de 32 bytes, tratando tudo como uma única string de dados grande.
Endereços 'Para': pesquisar anexando endereços 'to' como a possível entrada [*] (verificando primeiro por cabeçalhos de arquivo e re-verificando quando todos os dados são coletados usando binwalk).

[*] Armazenar dados em endereços 'to' é possível na rede Ethereum, pois não há verificação se o envio é para um endereço que não possui chaves de conta associadas. Significa que você pode fazer transações para endereços arbitrários para criar uma carga útil ao longo de várias transações de 20 bytes (é muito raro, mas também são alguns desafios de CTF).

Métodos de Pesquisa e Extração

Todos esses métodos podem ser usados separadamente ou em qualquer combinação:

Arquivos Incorporados: pesquisar por arquivos incorporados nos dados usando binwalk.
Cabeçalhos de Arquivo / Bytes Mágicos: pesquisar usando cabeçalhos + bytes mágicos através da utilidade Linux file (método padrão).
Despejo de Strings ASCII: pesquisar por strings ASCII dentro dos dados.
Pesquisa Baseada em Entropia: usar a Entropia de Shannon como ferramenta de medição para pesquisar texto em linguagem natural (ex. UTF-8 Unicode), arquivos criptografados/compactados ou qualquer coisa que o usuário considere viável com limites de entropia fornecidos pelo usuário.

IMPORTANTE: A ordem mostrada aqui é usada internamente para descartar pesquisas com outros métodos (ex. se um arquivo for encontrado via arquivos incorporados, então não tentará pesquisar usando cabeçalhos de arquivo, despejo de strings ASCII nem entropia), pois é improvável encontrar algo significativo se métodos anteriores já foram bem-sucedidos.

Diversos

Aceita timestamps UNIX (em vez de IDs de bloco) que são resolvidos nos IDs de bloco mais próximos confirmados naqueles horários.
Salva todos os dados de transações visitadas em arquivo para revisão posterior.
Armazena logs exibidos na CLI em arquivo para análise posterior dos arquivos extraídos.
Ignora formatos de arquivo fornecidos pelo usuário (insensível a maiúsculas/minúsculas) para extração e aceita substrings do formato completo do arquivo para lista negra.
Exibe métricas gerais de progresso (ex. quantos blocos/transações foram analisados, quantos blocos restam) a cada minuto e também exibe algumas métricas interessantes ao final da execução atual.
Mais funcionalidades úteis encontradas no manual (-h)!

Uso

Casos de uso comuns

Pesquisa padrão (pesquisar dentro de transações via cabeçalhos de arquivo) na MainNet com chave de API no local padrão (.api-key) e entre esses dois IDs de bloco (inclusivo):

$ etherblob 4081599 4081600

Pesquisa mais "aprofundada" (pesquisar por arquivos incorporados + método de pesquisa normal) na rede goerli com chave dentro de um arquivo arbitrário:

$ etherblob -K api.key 3134050 3145570 -M -H --network goerli

Pesquisar em cabeçalhos de bloco e transações ao mesmo tempo e salvar arquivos extraídos em 'extracted':

$ etherblob 4081599 4081600 --blocks --transactions -D extracted/

Pesquisar apenas dentro de endereços 'to' no intervalo de blocos confirmados entre Jan 25 2021 19:00:00 e Jan 26 2021 19:00:00:

$ etherblob -t 1611601200 1611687600 --addresses

Pesquisar strings apenas no armazenamento de contratos e para as primeiras 4 posições do array de armazenamento (128 bytes de dados):

$ etherblob 3911697 3912697 -S --contracts -C 4

Pesquisar apenas dentro de transações por dados criptografados/compactados (ignorando qualquer outro formato de arquivo):

$ etherblob 4081599 4081600 --encrypted

Pesquisar dentro de transações por arquivos de entropia personalizada enquanto salva transações em arquivo:

$ etherblob  3911697 3912697 -E 4.0 5.0 -s

Apenas despejar strings ASCII sobre blocos e transações feitas na véspera de Natal (entre os dias 24 e 25):

$ etherblob -t 1608836400 1608922800 --blocks --transactions --strings

Pesquisa completa (lenta, espere muitos falsos positivos):

$ etherblob 4081599 4081600 -U -S -M -H --blocks --transactions --addresses --contracts

Casos de uso avançados

Há mais explicações para casos de uso avançados e as coisas encontradas com eles na wiki!

Manual

usage: etherblob [-h] [--transactions] [--blocks] [--addresses] [--contracts]
                 [--network {main,goerli,kovan,rinkeby,ropsten}] [-H] [-M] [-U] [-E CUSTOM_ENTROPY CUSTOM_ENTROPY]
                 [--encrypted] [-S] [-C CONTRACT_POSITION] [-t] [-K API_KEY_PATH] [-k API_KEY] [-D OUTPUT_DIR]
                 [-o OUT_LOG] [-s] [-i [IGNORED_FMT [IGNORED_FMT ...]]] [--version]
                 start_block end_block

Tool to search and extract blob files on the Ethereum Network.

positional arguments:
  start_block           Start of block id range.
  end_block             End of block id range.

optional arguments:
  -h, --help            show this help message and exit
  --transactions        Search for blob files on transaction inputs. Default search mode.
  --blocks              Search for blob files on block inputs. If enabled then transaction input check is disabled unless
                        explicitly enabled.
  --addresses           Search for blob files on 'to' transaction addresses, as on Ethereum anyone can make transactions
                        to an arbitrary address even if it has no related owner (still not very common). If enabled then
                        transaction's input check is disabled unless explicitly enabled.
  --contracts           Search for blob files on contract's storage. If enabled then transaction input check is disabled
                        unless explicitly enabled.
  --network {main,goerli,kovan,rinkeby,ropsten}, -N {main,goerli,kovan,rinkeby,ropsten}
                        Choose blockchain network to search in. Available choices are Main, Goerli (Görli), Kovan, Rinkeby
                        and Ropsten. MainNet is the default network. Case-insensitive.
  -H, --file-header     If enabled, search for file formats via magic bytes/file headers on data (from blocks,
                        transactions or addresses). Enabled by default unless another method is enabled too.
  -M, --embedded        If enabled, search for embedded files on data (from blocks, transactions or addresses) via
                        binwalk. Disabled by default as parsing now takes longer.
  -U, --unicode         If enabled, attempt to search and dump files containing UTF-8 text from harvested data (blocks,
                        transactions, addresses) using Shannon's Entropy (between 3.5 and 5.0) if no other discernible
                        file is found first on that data. Yields many false positives.
  -E CUSTOM_ENTROPY CUSTOM_ENTROPY, --custom-entropy CUSTOM_ENTROPY CUSTOM_ENTROPY
                        Define your own entropy limits (min and max) to search for files/data on harvested data.
  --encrypted           If enabled, attempt to search and dump encrypted/compressed data found via different search
                        methods (blocks, transactions, addresses) using Shannon's Entropy (between 7.0 and 8.0) if no
                        other discernible file is found first on that data.
  -S, --strings         If enabled, attempt to search and dump ASCII strings into files found inside harvested data
                        (blocks, transactions, addresses) if no other discernible file is found first on that data.
  -C CONTRACT_POSITION, --contract-position CONTRACT_POSITION
                        Search inside contract's data until reaching the (N-1)th position on its storage array. Positions
                        contain 32 bytes worth of data. Count starts at 0 and default pos is the 15th pos (16 indexes in
                        total) if no custom position is given.
  -t, --timestamps      If enabled, then start and end block IDs are interpreted as UNIX timestamps that are then resolved
                        to the closest commited blocks for those specific times.
  -K API_KEY_PATH, --api-key-path API_KEY_PATH
                        Path to file with Etherscan API key for queries. Default search location is '.api-key'.
  -k API_KEY, --api-key API_KEY
                        Etherscan API key as parameter. If given then '--api-key-path' is ignored.
  -D OUTPUT_DIR, --output-dir OUTPUT_DIR
                        Out-dir for extracted files. Default is 'ext_{start block}-{end block}'.
  -o OUT_LOG, --out-log OUT_LOG
                        Out-file for logs. Default is 'etherblob_{start block}-{end block}.log'.
  -s, --save-transactions
                        If enabled, all transactions and their info are stored at file 'transactions_{start-block}-{end-
                        block}.txt'
  -i [IGNORED_FMT [IGNORED_FMT ...]], --ignored-fmt [IGNORED_FMT [IGNORED_FMT ...]]
                        Ignored file formats for extraction. Default ignored/common file formats are 'ISO-8859 text' and
                        'Non-ISO extended-ASCII text'. The 'data' file format is always ignored. Accepts file format
                        substrings and makes case-insensitive matches. '*' is a wildcard to ignore all file formats.
  --version             show program's version number and exit

Official GitHub repo 'https://github.com/litneet64/etherblob-explorer'

etherblob-explorer

Mais Populares