hexcymatix

hexcymatix는 반복되는 바이트 패턴에서 구조적 정보를 추출하는 바이너리 리버스 엔지니어링 도구로 대략적으로 구상된 탐색적 연구 프로젝트입니다.

이 아이디어는 실제 사용 가능한 도구로 구현되지는 않았지만, 일상적인 데이터에 내재된 놀라운 자기 대칭성을 보여주는 흥미로운 표현들을 여전히 만들어냅니다.

개요

리버스 엔지니어링을 하다 보면 어떤 데이터(테이블, 압축된 blob, 프로토콜 페이로드)의 예시 하나를 갖고 있으면서도, 이를 설명하는 규칙이나 파서를 아직 작성할 수 없는 상태에서 파일의 다른 곳에서 유사한 데이터를 찾고 싶을 때가 있습니다. 명세 없이 유사성을 원하는 것입니다.

hexcymatix는 반복되는 바이트 문자열이 그 구조가 무엇인지 알 수 없더라도 구조나 관계를 암시한다고 가정합니다. 반복을 시각화함으로써, 정확히 무엇을 찾고 있는지 모르는 상태에서도 관련 데이터를 드러낼 수 있습니다.

예를 들어, 아래의 팡세(Pensées) 구절에는 여러 자기 반복 시퀀스(' incapable of ', ' which he ', 'ing either ')가 있습니다. hexcymatix는 파일을 두 줄로 펼쳐 놓고 8바이트 이상의 반복 바이트 시퀀스를 모두 연결합니다:

이렇게 나타난 연결은 데이터에 숨겨진 구조와 관계를 암시합니다.

이 과정을 일상적인 바이너리 파일에 반복 적용하면 예상치 못한 자기 유사성, 연결, 구조가 자동으로 드러나기 시작합니다. 예를 들어, 다음은 표준 Windows 설치에 포함된 오류 조회 실행 파일입니다:

이 과정에서 가장 중요한 부분은 조각 연결 사이에 호(arc)를 추가하여 출력을 멋지게 보이게 하는 것입니다:

원래 목적과는 완전히 동떨어진 채, 데이터의 다양한 표현 방식을 실험해 볼 수 있습니다. 예를 들어, 동일한 파일과 연결을 원의 둘레를 따라 렌더링하면 다음과 같이 나타납니다:

사용법

python hexcymatix.py [options] file [file ...]

플래그

예시

# Circular visualization of an executable
python hexcymatix.py --circular guidgen.exe

# Linear visualization, top 500 fragments only
python hexcymatix.py --linear --top 500 guidgen.exe

# Batch, 4K output
python hexcymatix.py --circular --resolution 4k *.exe

출력

실행 파일

cmd.exe

calc.exe

explorer.exe

글꼴

Arial TTF

Comic Sans TTF

Courier New TTF

라이브러리

kernel32.dll

spwizres.dll

user32.dll

이미지

Windows 95 기본 배경화면 ("Clouds")

Windows XP 기본 배경화면 ("Bliss")

일반 텍스트

Windows XP EULA

파스칼의 팡세

오디오

Windows XP 시작음

Windows XP WMA (베토벤 9번 교향곡, 설치 시 포함)

의존성

pip install pycairo numpy pillow

pycairo는 네이티브 cairo 라이브러리를 대상으로 빌드되므로 cairo가 먼저 설치되어 있어야 합니다 — macOS에서는 brew install cairo pkg-config, Debian/Ubuntu에서는 apt install libcairo2-dev pkg-config.

활용 및 향후 계획

이 도구는 리버스 엔지니어링 보조 도구로 개발되었습니다: 어떤 데이터(구조체, 압축된 blob, 프로토콜 페이로드)의 알려진 예시 하나가 주어지면, 추가적인 RE 없이 파일에서 해당 데이터의 다른 인스턴스를 찾는 것입니다. 알려진 예시와 많은 반복 하위 시퀀스를 공유하는 영역들이 추가 조사할 가치가 있는 후보로 군집화될 것이라는 기대였습니다.

결국 아이디어가 근거가 빈약하고 사용 사례가 좁다고 판단되어, 이 기법은 유용한 연구에 필요한 매끄러운 플러그인 수준으로는 개발되지 못했습니다. 이 작업이 허공으로 사라지지 않도록 여기에 공유하며, 혹시 누군가 이를 바탕으로 더 발전시킬 수 있기를 바랍니다.

AI 고지

이 프로젝트는 원래 C#으로 직접 작성되었습니다. 이후 LLM을 사용하여 Python으로 포팅되었으며, 감독이나 검토는 거의 이루어지지 않았습니다.

저자

hexcymatix는 Christopher Domas(@xoreaxeaxeax)의 연구 프로젝트입니다.