EtherBlob Explorer

Поиск и извлечение blob-файлов в сети Ethereum с использованием API Etherscan.io.

Введение

EtherBlob Explorer — это инструмент, предназначенный для исследователей, аналитиков, участников CTF или любого любопытного, кто хочет искать различные типы файлов или любые осмысленные данные, предоставленные человеком, в блокчейне Ethereum. Он выполняет поиск в заданном пользователем диапазоне идентификаторов блоков или временных меток UNIX в любой из 5 доступных сетей: MainNet, Görli, Kovan, Rinkeby и Ropsten.

О практическом применении можно прочитать в этом эксперименте, проведённом в 2017 году. Неизменность блокчейна действительно может быть палкой о двух концах.

Установка

Выполните следующую команду:

$ pip install git+https://github.com/litneet64/etherblob-explorer.git

Теперь инструмент готов к использованию из командной строки. Ниже вы найдёте несколько распространённых примеров использования!

Возможности

Сети

Поиск в любой из пяти сетей Ethereum:

• MainNet
• Görli
• Kovan
• Rinkeby
• Ropsten

Места поиска

Этот инструмент может выполнять поиск в следующих местах, по отдельности или в любой комбинации в рамках одного запуска:

• Входные данные транзакций — поиск во входных данных транзакции (место по умолчанию).
• Входные данные блока — поиск во входных данных блока.
• Хранилище контракта — поиск в массиве хранилища контракта на первых N 32-байтовых позициях, рассматривая всё как одну большую строку данных.
• Адреса 'to' — поиск с использованием адресов получателей в качестве возможных входных данных [*] (сначала проверка заголовков файлов, затем повторная проверка всех собранных данных с помощью binwalk).

[*] Хранение данных в адресах 'to' возможно в сети Ethereum, так как нет проверки, отправляется ли транзакция на адрес, не связанный с каким-либо ключом. Это означает, что можно совершать транзакции на произвольные адреса, формируя полезную нагрузку из нескольких транзакций размером по 20 байт (это очень редко, но некоторые CTF-задачи именно такие).

Методы поиска и извлечения

Все эти методы могут использоваться как по отдельности, так и в любой комбинации:

• Встроенные файлы — поиск файлов, встроенных в данные, с помощью binwalk.
• Заголовки файлов / магические байты — поиск с использованием заголовков и магических байтов через утилиту Linux file (метод по умолчанию).
• Дамп ASCII-строк — поиск ASCII-строк внутри данных.
• Поиск на основе энтропии — использование энтропии Шеннона в качестве меры для поиска текста на естественном языке (например, UTF-8 Unicode), зашифрованных/сжатых файлов или всего, что пользователь сочтёт подходящим, с заданными пользователем границами энтропии.

ВАЖНО: Порядок, указанный здесь, используется под капотом для отбрасывания поиска другими методами (например, если файл найден через встроенные файлы, то не будет предпринята попытка поиска с помощью заголовков файлов, дампов ASCII-строк или энтропии), так как маловероятно, что будет найдено что-то осмысленное, если предыдущие методы уже были успешны.

Разное

• Принимает временные метки UNIX (вместо идентификаторов блоков), которые преобразуются в ближайшие идентификаторы блоков, зафиксированных в эти моменты времени.
• Сохраняет все данные из посещённых транзакций в файл для последующего просмотра.
• Сохраняет логи, отображаемые в CLI, в файл для последующего анализа извлечённых файлов.
• Позволяет игнорировать заданные пользователем форматы файлов (без учёта регистра) при извлечении и принимать подстроки полного имени формата для чёрного списка.
• Выводит общую статистику выполнения (например, сколько блоков/транзакций обработано, сколько блоков осталось) каждую минуту, а также отображает интересные метрики по окончании текущего запуска.
• Больше полезных возможностей — в руководстве (-h)!

Использование

Типовые случаи

• Стандартный поиск (внутри транзакций по заголовкам файлов) в MainNet с ключом API в расположении по умолчанию (.api-key) и между этими двумя идентификаторами блоков (включительно):

$ etherblob 4081599 4081600

• Более глубокий поиск (поиск встроенных файлов + обычный метод) в сети goerli с ключом в произвольном файле:

$ etherblob -K api.key 3134050 3145570 -M -H --network goerli

• Поиск одновременно по заголовкам блоков и транзакциям с сохранением извлечённых файлов в папку 'extracted':

$ etherblob 4081599 4081600 --blocks --transactions -D extracted/

• Поиск только внутри адресов 'to' в диапазоне блоков, зафиксированных между Jan 25 2021 19:00:00 и Jan 26 2021 19:00:00:

$ etherblob -t 1611601200 1611687600 --addresses

• Поиск строк только в хранилищах контрактов для первых 4 позиций массива хранилища (128 байт данных):

$ etherblob 3911697 3912697 -S --contracts -C 4

• Поиск только внутри транзакций зашифрованных/сжатых данных (игнорируя все остальные форматы):

$ etherblob 4081599 4081600 --encrypted

• Поиск внутри транзакций файлов с произвольной энтропией с сохранением транзакций в файл:

$ etherblob  3911697 3912697 -E 4.0 5.0 -s

• Только дамп ASCII-строк по блокам и транзакциям, совершённым в канун Рождества (между 24 и 25 числами):

$ etherblob -t 1608836400 1608922800 --blocks --transactions --strings

• Полный поиск (медленно, ожидайте много ложных срабатываний):

$ etherblob 4081599 4081600 -U -S -M -H --blocks --transactions --addresses --contracts

Продвинутые сценарии

Дополнительные объяснения продвинутых сценариев и того, что было найдено с их помощью, находятся на вики!

Руководство

usage: etherblob [-h] [--transactions] [--blocks] [--addresses] [--contracts]
                 [--network {main,goerli,kovan,rinkeby,ropsten}] [-H] [-M] [-U] [-E CUSTOM_ENTROPY CUSTOM_ENTROPY]
                 [--encrypted] [-S] [-C CONTRACT_POSITION] [-t] [-K API_KEY_PATH] [-k API_KEY] [-D OUTPUT_DIR]
                 [-o OUT_LOG] [-s] [-i [IGNORED_FMT [IGNORED_FMT ...]]] [--version]
                 start_block end_block

Tool to search and extract blob files on the Ethereum Network.

positional arguments:
  start_block           Start of block id range.
  end_block             End of block id range.