EtherBlob Explorer

Pesquise e extraia arquivos blob na rede Ethereum usando a API do Etherscan.io.

Introdução

EtherBlob Explorer é uma ferramenta destinada a pesquisadores, analistas, jogadores de CTF ou qualquer pessoa curiosa o suficiente que deseje procurar diferentes tipos de arquivos ou quaisquer dados significativos fornecidos por humanos na Rede Blockchain Ethereum. Ela pesquisa em um intervalo fornecido pelo usuário de IDs de bloco ou timestamps UNIX em qualquer uma das 5 redes disponíveis: MainNet, Görli, Kovan, Rinkeby e Ropsten.

Para um caso real, você pode ler este experimento feito em 2017. A imutabilidade do blockchain pode realmente ser uma faca de dois gumes.

Instalação

Execute o seguinte comando:

$ pip install git+https://github.com/litneet64/etherblob-explorer.git

Agora está pronto para usar a partir da sua CLI, você pode encontrar alguns exemplos de uso comuns abaixo!

Funcionalidades

Redes

Pesquise em qualquer uma das cinco redes Ethereum:

• MainNet
• Görli
• Kovan
• Rinkeby
• Ropsten

Locais de Pesquisa

Esta ferramenta pode pesquisar nos seguintes locais, separadamente ou combinando qualquer um deles na mesma execução:

• Dados de Entrada de Transação: pesquisar dentro dos dados de entrada da transação (local padrão).
• Dados de Entrada de Bloco: pesquisar dentro dos dados de entrada do bloco.
• Armazenamento de Contrato: pesquisar dentro do array de armazenamento de um contrato nas primeiras N posições de 32 bytes, tratando tudo como uma única string de dados grande.
• Endereços 'Para': pesquisar anexando endereços 'to' como a possível entrada [*] (verificando primeiro por cabeçalhos de arquivo e re-verificando quando todos os dados são coletados usando binwalk).

[*] Armazenar dados em endereços 'to' é possível na rede Ethereum, pois não há verificação se o envio é para um endereço que não possui chaves de conta associadas. Significa que você pode fazer transações para endereços arbitrários para criar uma carga útil ao longo de várias transações de 20 bytes (é muito raro, mas também são alguns desafios de CTF).

Métodos de Pesquisa e Extração

Todos esses métodos podem ser usados separadamente ou em qualquer combinação:

• Arquivos Incorporados: pesquisar por arquivos incorporados nos dados usando binwalk.
• Cabeçalhos de Arquivo / Bytes Mágicos: pesquisar usando cabeçalhos + bytes mágicos através da utilidade Linux file (método padrão).
• Despejo de Strings ASCII: pesquisar por strings ASCII dentro dos dados.
• Pesquisa Baseada em Entropia: usar a Entropia de Shannon como ferramenta de medição para pesquisar texto em linguagem natural (ex. UTF-8 Unicode), arquivos criptografados/compactados ou qualquer coisa que o usuário considere viável com limites de entropia fornecidos pelo usuário.

IMPORTANTE: A ordem mostrada aqui é usada internamente para descartar pesquisas com outros métodos (ex. se um arquivo for encontrado via arquivos incorporados, então não tentará pesquisar usando cabeçalhos de arquivo, despejo de strings ASCII nem entropia), pois é improvável encontrar algo significativo se métodos anteriores já foram bem-sucedidos.

Diversos

• Aceita timestamps UNIX (em vez de IDs de bloco) que são resolvidos nos IDs de bloco mais próximos confirmados naqueles horários.
• Salva todos os dados de transações visitadas em arquivo para revisão posterior.
• Armazena logs exibidos na CLI em arquivo para análise posterior dos arquivos extraídos.
• Ignora formatos de arquivo fornecidos pelo usuário (insensível a maiúsculas/minúsculas) para extração e aceita substrings do formato completo do arquivo para lista negra.
• Exibe métricas gerais de progresso (ex. quantos blocos/transações foram analisados, quantos blocos restam) a cada minuto e também exibe algumas métricas interessantes ao final da execução atual.
• Mais funcionalidades úteis encontradas no manual (-h)!

Uso

Casos de uso comuns

• Pesquisa padrão (pesquisar dentro de transações via cabeçalhos de arquivo) na MainNet com chave de API no local padrão (.api-key) e entre esses dois IDs de bloco (inclusivo):

$ etherblob 4081599 4081600

• Pesquisa mais "aprofundada" (pesquisar por arquivos incorporados + método de pesquisa normal) na rede goerli com chave dentro de um arquivo arbitrário:

$ etherblob -K api.key 3134050 3145570 -M -H --network goerli

• Pesquisar em cabeçalhos de bloco e transações ao mesmo tempo e salvar arquivos extraídos em 'extracted':

$ etherblob 4081599 4081600 --blocks --transactions -D extracted/

• Pesquisar apenas dentro de endereços 'to' no intervalo de blocos confirmados entre Jan 25 2021 19:00:00 e Jan 26 2021 19:00:00:

$ etherblob -t 1611601200 1611687600 --addresses

• Pesquisar strings apenas no armazenamento de contratos e para as primeiras 4 posições do array de armazenamento (128 bytes de dados):

$ etherblob 3911697 3912697 -S --contracts -C 4

• Pesquisar apenas dentro de transações por dados criptografados/compactados (ignorando qualquer outro formato de arquivo):

$ etherblob 4081599 4081600 --encrypted

• Pesquisar dentro de transações por arquivos de entropia personalizada enquanto salva transações em arquivo:

$ etherblob  3911697 3912697 -E 4.0 5.0 -s

• Apenas despejar strings ASCII sobre blocos e transações feitas na véspera de Natal (entre os dias 24 e 25):

$ etherblob -t 1608836400 1608922800 --blocks --transactions --strings

• Pesquisa completa (lenta, espere muitos falsos positivos):

$ etherblob 4081599 4081600 -U -S -M -H --blocks --transactions --addresses --contracts

Casos de uso avançados

Há mais explicações para casos de uso avançados e as coisas encontradas com eles na wiki!

Manual

usage: etherblob [-h] [--transactions] [--blocks] [--addresses] [--contracts]
                 [--network {main,goerli,kovan,rinkeby,ropsten}] [-H] [-M] [-U] [-E CUSTOM_ENTROPY CUSTOM_ENTROPY]
                 [--encrypted] [-S] [-C CONTRACT_POSITION] [-t] [-K API_KEY_PATH] [-k API_KEY] [-D OUTPUT_DIR]
                 [-o OUT_LOG] [-s] [-i [IGNORED_FMT [IGNORED_FMT ...]]] [--version]
                 start_block end_block

Tool to search and extract blob files on the Ethereum Network.

positional arguments:
  start_block           Start of block id range.
  end_block             End of block id range.