LLM4Decompile

📊 결과 | 🤗 모델 | 🚀 빠른 시작 | 📚 HumanEval-Decompile | 📎 인용 | 📝 논문 | 🖥️ Colab | ▶️ YouTube

리버스 엔지니어링: 대규모 언어 모델을 사용한 바이너리 코드 역컴파일

업데이트

• [2025-10-04]: SK²Decompile 출시: Skeleton(뼈대)에서 Skin(살)까지의 LLM 기반 2단계 바이너리 디컴파일. 1단계 구조 복원(Skeleton): 바이너리/유사 코드를 난독화된 중간 표현으로 변환 🤗 HF 링크. 2단계 식별자 명명(Skin): 의미 있는 식별자를 사용하여 사람이 읽을 수 있는 소스 코드 생성 🤗 HF 링크.
• [2025-05-20]: decompile-bench 출시, 훈련용 바이너리-소스 함수 쌍 2백만 개와 평가용 함수 쌍 70K개를 포함합니다. 자세한 내용은 decompile-bench 폴더를 참조하세요.
• [2024-10-17]: decompile-ghidra-100k 출시, 100k 훈련 샘플(최적화 수준별 25k)의 하위 집합입니다. 단일 A100 40G GPU에서 약 3.5시간이 소요되는 훈련 스크립트를 제공합니다. 0.26의 재실행률을 달성하며, LLM4Decompile을 빠르게 재현하는 데 총 비용이 $20 미만입니다.
• [2024-09-26]: LLM4Decompile 모델의 사용법을 시연하는 Colab 노트북을 업데이트했습니다. LLM4Decompile-End 및 LLM4Decompile-Ref 모델 예시가 포함됩니다.
• [2024-09-23]: LLM4Decompile-9B-v2 출시, Yi-Coder-9B를 기반으로 미세 조정되어 Decompile 벤치마크에서 0.6494의 재실행률을 달성했습니다.
• [2024-06-19]: V2 시리즈(LLM4Decompile-Ref) 출시. V2(1.3B-22B)는 Ghidra를 기반으로 하여 Ghidra가 디컴파일한 유사 코드를 정제하도록 20억 개의 토큰으로 훈련되었습니다. 22B-V2 버전은 6.7B-V1.5보다 40.1% 더 뛰어난 성능을 보여줍니다. 자세한 내용은 ghidra 폴더를 확인하세요.
• [2024-05-13]: V1.5 시리즈(LLM4Decompile-End, LLM을 사용하여 바이너리를 직접 디컴파일) 출시. V1.5는 더 큰 데이터셋(15B 토큰)과 최대 토큰 길이 4,096으로 훈련되었으며, 이전 모델에 비해 놀라운 성능( 100% 이상 향상)을 보여줍니다.
• [2024-03-16]: 최적화 수준(O0~O3)에 대한 사전 지식 없이 훈련된 llm4decompile-6.7b-uo 모델 추가, 평균 재실행률은 약 0.219로 우리 모델 중 최고의 성능을 보여줍니다.

소개

• LLM4Decompile은 디컴파일을 위해 특화된 선구적인 오픈소스 대규모 언어 모델입니다. 현재 버전은 GCC의 O0~O3 최적화 수준에 해당하는 Linux x86_64 바이너리를 사람이 읽을 수 있는 C 소스 코드로 디컴파일하는 것을 지원합니다. 우리 팀은 더 넓은 범위의 아키텍처와 구성을 통합하기 위한 지속적인 노력을 통해 이 도구의 기능을 확장하는 데 전념하고 있습니다.
• LLM4Decompile-End는 바이너리를 직접 디컴파일하는 데 중점을 둡니다. LLM4Decompile-Ref는 Ghidra가 디컴파일한 유사 코드를 정제합니다.

평가

프레임워크

컴파일 과정에서 전처리기(Preprocessor)는 주석을 제거하고 매크로나 include를 확장하기 위해 소스 코드(SRC)를 처리합니다. 정리된 코드는 컴파일러(Compiler)로 전달되어 어셈블리 코드(ASM)로 변환됩니다. 이 ASM은 어셈블러(Assembler)에 의해 바이너리 코드(0과 1)로 변환됩니다. 링커(Linker)는 함수 호출을 연결하여 실행 파일을 생성함으로써 프로세스를 마무리합니다. 반면 디컴파일은 바이너리 코드를 다시 소스 파일로 변환하는 작업입니다. 텍스트로 훈련된 LLM은 바이너리 데이터를 직접 처리할 수 없습니다. 따라서 바이너리는 먼저 Objdump에 의해 어셈블리 언어(ASM)로 디스어셈블되어야 합니다. 바이너리와 디스어셈블된 ASM은 동일하며 서로 상호 변환이 가능하므로 동일한 의미로 사용됨을 유의해야 합니다. 마지막으로 디컴파일된 코드와 소스 코드 사이의 손실을 계산하여 훈련을 안내합니다. 디컴파일된 코드(SRC')의 품질을 평가하기 위해 테스트 검증문을 통해 기능을 테스트합니다(재실행 가능성).

지표

• Re-executability는 디컴파일된 코드가 제대로 실행되고 사전 정의된 모든 테스트 케이스를 통과하는지 평가합니다.

벤치마크

• HumanEval-Decompile 오직 표준 C 라이브러리만 사용하는 164개의 C 함수 모음입니다.
• ExeBench 실제 프로젝트에서 가져온 2,621개의 함수 모음으로, 각 함수는 사용자 정의 함수, 구조체, 매크로를 사용합니다.

결과

모델

우리의 LLM4Decompile은 13억~330억 개의 파라미터 크기를 가진 모델을 포함하며, 이 모델들을 Hugging Face에서 제공하고 있습니다.

모델	체크포인트	크기	Re-executability	참고
llm4decompile-1.3b-v1.5	🤗 HF 링크	1.3B	27.3%	참고 3
llm4decompile-6.7b-v1.5	🤗 HF 링크	6.7B	45.4%	참고 3
llm4decompile-1.3b-v2	🤗 HF 링크	1.3B	46.0%	참고 4
llm4decompile-6.7b-v2	🤗 HF 링크	6.7B	52.7%	참고 4
llm4decompile-9b-v2	🤗 HF 링크	9B	64.9%	참고 4
llm4decompile-22b-v2	🤗 HF 링크	22B	63.6%	참고 4

참고 3: V1.5 시리즈는 더 큰 데이터셋(15B 토큰)과 최대 토큰 크기 4,096으로 훈련되었으며, 이전 모델에 비해 놀라운 성능(100% 이상 향상)을 보여줍니다.

참고 4: V2 시리즈는 Ghidra를 기반으로 하여 Ghidra가 디컴파일한 유사 코드를 정제하도록 20억 개의 토큰으로 훈련되었습니다. 자세한 내용은 ghidra 폴더를 확인하세요.

빠른 시작

설치: 아래 스크립트를 사용하여 필요한 환경을 설치하십시오.

git clone https://github.com/albertan017/LLM4Decompile.git
cd LLM4Decompile
conda create -n 'llm4decompile' python=3.9 -y
conda activate llm4decompile
pip install -r requirements.txt

다음은 우리 모델을 사용하는 방법의 예시입니다(V1.5 기준으로 수정됨. 이전 모델은 HF에서 해당 모델 페이지를 확인하세요). 참고: 디컴파일하려는 함수 이름으로 "func0"을 교체하세요.