hexcymatix

hexcymatix は探索的な研究プロジェクトであり、バイナリファイル内の繰り返し出現するバイトパターンから構造情報を抽出するバイナリリバースエンジニアリングツールとして大まかに構想されていました。

このアイデアは実用ツールには結実しませんでしたが、それでも日常のデータに潜む驚くべき自己対称性の魅力的な表現を生み出します。

概要

リバースエンジニアリングでは、データの一例（テーブル、圧縮ブロブ、プロトコルペイロードなど）を手にしているものの、それを記述するルールやパーサーをまだ書けないまま、ファイル内の他の場所で類似したデータを探したいことがあります。仕様なしの類似性が欲しいのです。

hexcymatix は、繰り返し出現するバイト列が、その構造が何であるかを知らなくても、構造や関連性を示唆するという考えに基づいています。繰り返しを可視化することで、自分が何を探しているのか正確にわからなくても、関連するデータを浮かび上がらせることができます。

たとえば、以下の『パンセ』の一節には、複数の自己反復配列（' incapable of '、' which he '、'ing either '）があります。hexcymatix はファイルを2行にわたって配置し、8バイト以上の繰り返しバイト配列をすべて接続します。

浮かび上がった接続は、データの根底にある構造や関係性を示唆します。

この処理を日常的なバイナリファイルに対して繰り返すと、予期しない自己相似性や接続、構造が自動的に浮かび上がり始めます。例として、標準的な Windows インストールに含まれるエラールックアップ実行可能ファイルを示します。

このプロセスの最も重要な部分は、出力をかっこよく見せるためにフラグメント接続の間に円弧を追加することです。

当初の目的を完全に見失ったところで、データのさまざまな表現を試すことができます。たとえば、同じファイルと接続を円の周囲に沿ってレンダリングすると、次のようになります。

使い方

python hexcymatix.py [options] file [file ...]

フラグ

例

# Circular visualization of an executable
python hexcymatix.py --circular guidgen.exe

# Linear visualization, top 500 fragments only
python hexcymatix.py --linear --top 500 guidgen.exe

# Batch, 4K output
python hexcymatix.py --circular --resolution 4k *.exe

出力

実行可能ファイル

cmd.exe

calc.exe

explorer.exe

フォント

Arial TTF

Comic Sans TTF

Courier New TTF

ライブラリ

kernel32.dll

spwizres.dll

user32.dll

画像

Windows 95 のデフォルト背景（"Clouds"）

Windows XP のデフォルト背景（"Bliss"）

プレーンテキスト

Windows XP の EULA

パスカルの『パンセ』

オーディオ

Windows XP の起動音

Windows XP の WMA（ベートーヴェンの第九、インストールに同梱）

依存関係

pip install pycairo numpy pillow

pycairo はネイティブの cairo ライブラリに対してビルドされるため、先に cairo をインストールしておく必要があります。macOS では brew install cairo pkg-config、Debian/Ubuntu では apt install libcairo2-dev pkg-config を実行します。

応用と今後の展望

このツールはリバースエンジニアリングの補助として開発されました。あるデータ（構造体、圧縮ブロブ、プロトコルペイロードなど）の既知の例が1つ与えられたとき、追加のリバースエンジニアリングを必要とせずにファイル内の他のインスタンスを探すというものです。既知の例と多くの反復部分列を共有する領域が、さらに調査する価値のある候補へとクラスタ化されることが期待されていました。

結局、このアイデアは確実性に欠け、ユースケースも狭いように思われたため、この手法は有用な研究に必要なシームレスなプラグインのような形には発展しませんでした。この成果が失われることのないようここに共有し、誰かがこれを基に発展させてくれることを願っています。

AI に関する免責事項

このプロジェクトは元々 C# で手書きされました。その後、LLM を使用して Python に移植されましたが、ほとんど監修やレビューは行われていません。

著者

hexcymatix は Christopher Domas（@xoreaxeaxeax）による研究プロジェクトです。