EtherBlob Explorer

Ethereumネットワーク上でブロブファイルを検索・抽出するためのツールで、Etherscan.io APIを使用します。

はじめに

EtherBlob Explorerは、研究者、アナリスト、CTFプレイヤー、あるいはEthereumブロックチェーンネットワーク上のさまざまな種類のファイルや人間が提供する意味のあるデータを検索したい好奇心旺盛な人のためのツールです。ユーザーが指定したブロックIDまたはUNIXタイムスタンプの範囲を、利用可能な5つのネットワーク（MainNet、Görli、Kovan、Rinkeby、Ropsten）のいずれかで検索します。

実際の事例としては、2017年に行われたこの実験をご覧ください。ブロックチェーンの不変性はまさに諸刃の剣となり得ます。

インストール

以下のコマンドを実行してください：

$ pip install git+https://github.com/litneet64/etherblob-explorer.git

これでCLIから使用できるようになりました。以下に一般的な使用例を示します！

機能

ネットワーク

以下の5つのEthereumネットワークのいずれかで検索します：

• MainNet
• Görli
• Kovan
• Rinkeby
• Ropsten

検索場所

このツールは以下の場所を個別に、または同一実行で任意に組み合わせて検索できます：

• トランザクション入力データ: トランザクションの入力データ内を検索（デフォルトの場所）。
• ブロック入力データ: ブロックの入力データ内を検索。
• コントラクトストレージ: コントラクトのストレージ配列の最初の_N_個の32バイト位置を検索し、すべてを1つの大きなデータ文字列として扱います。
• Toアドレス: 'to'アドレスを可能な入力として追加して検索 [*] （最初にファイルヘッダーをチェックし、すべてのデータを収集した後にbinwalkを使用して再チェック）。

[*] Ethereumネットワークでは、関連するアカウントキーを持たないアドレスに送信する場合の検証がないため、'to'アドレスにデータを保存することが可能です。つまり、任意のアドレスにトランザクションを行い、複数の20バイトサイズのトランザクションにわたってペイロードを作成できます（非常に稀ですが、一部のCTFチャレンジも同様です）。

検索および抽出方法

これらのメソッドはすべて個別に、または任意の組み合わせで使用できます：

• 埋め込みファイル: binwalkを使用してデータ内に埋め込まれたファイルを検索。
• ファイルヘッダー/マジックバイト: Linuxユーティリティfileを利用してヘッダー+マジックバイトで検索（デフォルトメソッド）。
• ASCII文字列ダンプ: データ内のASCII文字列を検索。
• エントロピーベースの検索: シャノンエントロピーを尺度として使用し、自然言語テキスト（例：UTF-8 Unicode）、暗号化/圧縮ファイル、またはユーザーが指定したエントロピー制限内でユーザーが実行可能と判断するものを検索。

重要: ここに示された順序は内部で他のメソッドによる検索を破棄するために使用されます（例えば、埋め込みファイルでファイルが見つかった場合、ファイルヘッダー、ASCII文字列ダンプ、エントロピーを使用した検索は試みられません）。これは、以前のメソッドが既に成功した場合に有意義なものを見つける可能性が低いためです。

その他

• UNIXタイムスタンプ（ブロックIDの代わりに）を受け付け、それらの時刻にコミットされた最も近いブロックIDに解決されます。
• 訪問したトランザクションのすべてのデータをファイルに保存し、後で確認できるようにします。
• CLI表示されたログをファイルに保存し、後で抽出ファイルの分析に使用します。
• ユーザー指定のファイル形式（大文字小文字を区別しない）を抽出時に無視し、ブラックリスト登録のために完全なファイル形式の部分文字列を受け付けます。
• 毎分、一般的な進捗メトリクス（例：解析されたブロック数/トランザクション数、残りのブロック数）を表示し、現在の実行終了時にもいくつかの興味深いメトリクスを表示します。
• その他の便利な機能はマニュアル（-h）にあります！

使用方法

一般的な使用例

• MainNetでの標準検索（ファイルヘッダーによるトランザクション内検索）、APIキーはデフォルト位置（.api-key）、以下の2つのブロックID間（両端含む）：

$ etherblob 4081599 4081600

• より徹底した検索（埋め込みファイル検索＋通常検索メソッド）をgoerliネットワークで、キーを任意のファイル内に指定して実行：

$ etherblob -K api.key 3134050 3145570 -M -H --network goerli

• ブロックヘッダーとトランザクションを同時に検索し、抽出ファイルを'extracted'に保存：

$ etherblob 4081599 4081600 --blocks --transactions -D extracted/

• 2021年1月25日19:00:00から2021年1月26日19:00:00の間にコミットされたブロックの範囲内で、'to'アドレス内のみ検索：

$ etherblob -t 1611601200 1611687600 --addresses

• コントラクトのストレージのみで文字列を検索し、最初の4つのストレージ配列位置（128バイト分のデータ）を対象：

$ etherblob 3911697 3912697 -S --contracts -C 4

• トランザクション内のみで暗号化/圧縮データを検索（他のファイル形式は無視）：

$ etherblob 4081599 4081600 --encrypted

• トランザクション内でカスタムエントロピーファイルを検索し、同時にトランザクションをファイルに保存：

$ etherblob  3911697 3912697 -E 4.0 5.0 -s

• クリスマスイブ（24日から25日）に行われたブロックとトランザクションからASCII文字列のみをダンプ：

$ etherblob -t 1608836400 1608922800 --blocks --transactions --strings

• フル検索（低速、多くの誤検出が予想されます）：

$ etherblob 4081599 4081600 -U -S -M -H --blocks --transactions --addresses --contracts

高度な使用例

高度な使用例やそれらで見つかったものについては、wikiで詳しく説明されています！

マニュアル

usage: etherblob [-h] [--transactions] [--blocks] [--addresses] [--contracts]
                 [--network {main,goerli,kovan,rinkeby,ropsten}] [-H] [-M] [-U] [-E CUSTOM_ENTROPY CUSTOM_ENTROPY]
                 [--encrypted] [-S] [-C CONTRACT_POSITION] [-t] [-K API_KEY_PATH] [-k API_KEY] [-D OUTPUT_DIR]
                 [-o OUT_LOG] [-s] [-i [IGNORED_FMT [IGNORED_FMT ...]]] [--version]
                 start_block end_block

Tool to search and extract blob files on the Ethereum Network.

positional arguments:
  start_block           Start of block id range.
  end_block             End of block id range.