hexcymatix

hexcymatix é um projeto de pesquisa exploratória, concebido de forma ampla como uma ferramenta de engenharia reversa de binários para extrair informações estruturais a partir de padrões repetidos de bytes em arquivos binários.

A ideia nunca se materializou em uma ferramenta utilizável, mas ainda assim produz algumas representações fascinantes da impressionante autossimetria presente nos dados do dia a dia.

Visão geral

Às vezes, em engenharia reversa, você tem um exemplo de alguns dados — uma tabela, um blob compactado, um payload de protocolo — e quer encontrar dados semelhantes em outro lugar do arquivo, sem ainda ser capaz de escrever uma regra ou parser que os descreva. Você quer similaridade sem especificação.

hexcymatix postula que sequências repetidas de bytes implicam estrutura ou relação, mesmo que não saibamos qual é essa estrutura. Ao visualizar as repetições, podemos trazer à tona dados relacionados sem saber exatamente o que estamos procurando.

Por exemplo, a passagem das Pensées abaixo tem várias sequências autorrepetidas (' incapable of ', ' which he ', 'ing either ') — o hexcymatix dispõe o arquivo em duas linhas e conecta quaisquer sequências repetidas de bytes com pelo menos 8 bytes:

As conexões que surgem então indicam estruturas e relações subjacentes nos dados.

Repetir esse processo em um arquivo binário comum começa a extrair automaticamente autossimilaridades, conexões e estruturas inesperadas. Como exemplo, aqui está o executável de consulta de erros em uma instalação padrão do Windows:

A parte mais importante do processo é adicionar arcos entre as conexões dos fragmentos para deixar a saída com um visual interessante:

Tendo perdido completamente o fio da meada, podemos experimentar diversas representações dos dados. Por exemplo, o mesmo arquivo e as mesmas conexões renderizados ao redor do perímetro de um círculo aparecem da seguinte forma:

Uso

python hexcymatix.py [options] file [file ...]

Flags

Exemplos

# Circular visualization of an executable
python hexcymatix.py --circular guidgen.exe

# Linear visualization, top 500 fragments only
python hexcymatix.py --linear --top 500 guidgen.exe

# Batch, 4K output
python hexcymatix.py --circular --resolution 4k *.exe

Saída

Executáveis

cmd.exe

calc.exe

explorer.exe

Fontes

Arial TTF

Comic Sans TTF

Courier New TTF

Bibliotecas

kernel32.dll

spwizres.dll

user32.dll

Imagens

Fundo padrão do Windows 95 ("Clouds")

Fundo padrão do Windows XP ("Bliss")

Texto simples

EULA do Windows XP

Pensées de Pascal

Áudio

Som de inicialização do Windows XP

WMA do Windows XP (9ª Sinfonia de Beethoven, incluída na instalação)

Dependências

pip install pycairo numpy pillow

O pycairo é compilado contra a biblioteca nativa cairo, que precisa estar presente primeiro — brew install cairo pkg-config no macOS, ou apt install libcairo2-dev pkg-config no Debian/Ubuntu.

Aplicações e Futuro

A ferramenta foi desenvolvida como um auxílio à engenharia reversa: dado um único exemplo conhecido de alguns dados — uma struct, um blob compactado, um payload de protocolo — encontrar outras ocorrências dele no arquivo sem precisar de RE adicional. A esperança era que regiões compartilhando muitas subsequências repetidas com o exemplo conhecido se agrupassem em candidatos que valessem a pena investigar mais a fundo.

Em última análise, a ideia parecia frágil e o caso de uso limitado, então a técnica nunca foi desenvolvida no tipo de plugin integrado que seria necessário para uma pesquisa útil. O trabalho está sendo compartilhado aqui para que não se perca no éter, na esperança de que talvez outra pessoa possa dar continuidade.

Aviso sobre IA

Este projeto foi escrito originalmente à mão em C#. Foi portado para Python usando LLMs, com pouca supervisão ou revisão.

Autor

hexcymatix é um esforço de pesquisa de Christopher Domas (@xoreaxeaxeax).