Проект реверс-инжиниринга Rosetta 2

Всестороннее исследование обратной разработки для понимания и документирования технологии двоичной трансляции Rosetta 2 от Apple.

Содержание

1. Предыстория
2. Что такое Rosetta?
3. Что такое Rosetta 2?
4. Как Apple доставляет Rosetta 2 в macOS
5. Техническая архитектура
6. Этот проект
7. Структура файлов
8. Использование
9. Прогресс
10. Ссылки

Предыстория

Архитектурный переход

В ноябре 2020 года Apple анонсировала первые Mac на Apple Silicon, ознаменовав исторический переход от процессоров Intel x86_64 к собственным чипам M1 на базе ARM. Это был третий крупный архитектурный переход Apple:

1. 1994: Motorola 68000 -> PowerPC
2. 2006: PowerPC -> Intel x86_64
3. 2020: Intel x86_64 -> Apple Silicon (ARM64)

Каждый переход требовал решения для двоичной трансляции, чтобы запускать существующее программное обеспечение в период миграции. Rosetta 2 — самая совершенная на сегодняшний день система двоичной трансляции от Apple.

Что такое Rosetta?

Rosetta (2006–2011) была первой динамической программой двоичной трансляции Apple, позволявшая запускать приложения PowerPC на Mac на базе Intel.

Ключевые особенности:

• Динамическая трансляция: Перевод кода PowerPC в x86_64 во время выполнения
• Интеграция с ОС: Встроена в Mac OS X 10.4 (Tiger) до 10.6 (Snow Leopard)
• Прозрачная работа: Пользователи запускали приложения PowerPC как обычно
• Накладные расходы производительности: Обычно на 20–50% медленнее нативного кода

Rosetta была удалена в Mac OS X 10.7 (Lion), завершив переход на Intel.

Что такое Rosetta 2?

Rosetta 2 — это передовая технология динамической двоичной трансляции Apple, которая позволяет приложениям, скомпилированным для Intel x86_64 Mac, работать на Apple Silicon (ARM64) Mac.

Обзор архитектуры```

┌─────────────────────────────────────────────────────────────┐ │ User Application (x86_64) │ ├─────────────────────────────────────────────────────────────┤ │ Rosetta 2 Layer │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────┐ │ │ │ Translator │ │ Runtime │ │ System Call │ │ │ │ (AOT/JIT) │ │ Library │ │ Translation │ │ │ └─────────────┘ └─────────────┘ └─────────────────────┘ │ ├─────────────────────────────────────────────────────────────┤ │ macOS Kernel (ARM64) │ ├─────────────────────────────────────────────────────────────┤ │ Apple Silicon Hardware │ └─────────────────────────────────────────────────────────────┘

### Ключевые технологии

1. **Трансляция с опережением (AOT)**
   - Переводит x86_64 бинарные файлы в ARM64 во время установки
   - Сохраняет переведенный код в кеше для более быстрого последующего запуска
   - Снижает накладные расходы во время выполнения по сравнению с чисто JIT-трансляцией

2. **Трансляция "на лету" (JIT)**
   - Переводит блоки кода по запросу во время выполнения
   - Обрабатывает динамически загружаемый код и самомодифицирующийся код
   - Поддерживает кеш трансляции для эффективности

3. **Трансляция системы команд**
   - Отображение инструкций x86_64 на ARM64
   - Трансляция векторных инструкций SSE/AVX в NEON
   - Флаги x86_64 в коды условий ARM64

4. **Трансляция системных вызовов**
   - Переводит системные вызовы macOS x86_64 в эквиваленты ARM64
   - Обрабатывает различные соглашения о вызовах
   - Управляет состоянием регистров на границах системных вызовов

5. **Поддержка времени выполнения**
   - Эмуляция обнаружения возможностей процессора
   - Обработка локального хранилища потоков
   - Обработка сигналов и исключений

---

## Как Apple предоставляет Rosetta 2 в macOS

### Местоположение установки

Rosetta 2 находится по адресу:```
/Library/Apple/usr/libexec/oah/
├── rosetta        # Main translator binary
├── rosettad       # Rosetta daemon
└── librosetta.*   # Runtime libraries

Каталог oah расшифровывается как «Оборудование старой архитектуры» — наследие эпохи переходного периода с PowerPC.

Автоматическая установка

На Mac с процессором Apple Silicon Rosetta 2 не устанавливается по умолчанию. Она запускается двумя способами:

1. При первом запуске приложения ``` The "Rosetta" software is not installed on your Mac. Rosetta translates apps from Intel-based Macs for use on Apple Silicon Macs.
   root@kitploit:~

2. Установка из командной строки ```bash softwareupdate --install-rosetta --agree-to-license
   root@kitploit:~

Поставляемые компоненты

Интеграция с macOS

1. launchd Интеграция: Демон Rosetta работает как системная служба
2. Подпись кода: Транслированные двоичные файлы автоматически подписываются кодом
3. Gatekeeper: Приложения, транслированные через Rosetta, проходят проверки безопасности
4. Защита целостности системы: Защищены от модификации

Техническая архитектура

Процесс трансляции```

┌──────────────────────────────────────────────────────────────────┐ │ Phase 1: Binary Loading │ │ ─────────────────────────────────────────────────────────────── │ │ 1. Load x86_64 Mach-O binary │ │ 2. Parse segments, sections, symbols │ │ 3. Validate code signatures │ │ 4. Map into translation context │ └──────────────────────────────────────────────────────────────────┘ │ ▼ ┌──────────────────────────────────────────────────────────────────┐ │ Phase 2: AOT Translation │ │ ─────────────────────────────────────────────────────────────── │ │ 1. Disassemble x86_64 code sections │ │ 2. Translate instructions to ARM64 │ │ 3. Apply optimizations │ │ 4. Store in translation cache (~/.oah) │ └──────────────────────────────────────────────────────────────────┘ │ ▼ ┌──────────────────────────────────────────────────────────────────┐ │ Phase 3: Runtime Execution │ │ ─────────────────────────────────────────────────────────────── │ │ 1. Load translated ARM64 code │ │ 2. Set up x86_64 emulation context │ │ 3. Handle JIT translations for dynamic code │ │ 4. Translate syscalls on-the-fly │ └──────────────────────────────────────────────────────────────────┘

### Ключевые проблемы трансляции

1. **Сопоставление регистров**
   - x86_64 имеет 16 GPR; ARM64 — 31 GPR
   - Регистр флагов x86_64 -> флаги NZCV ARM64
   - Эмуляция RIP (указателя команд)

2. **Упорядочивание памяти**
   - x86_64: Строгое упорядочивание памяти (TSO)
   - ARM64: Слабое упорядочивание памяти
   - Требуются барьеры памяти для корректности

3. **Векторные инструкции**
   - SSE (128-бит) -> NEON (128-бит) прямое отображение
   - AVX (256-бит) -> эмуляция парой NEON
   - Различная обработка исключений для SIMD

4. **Соглашения о вызовах**
   - x86_64: Первые 6 аргументов в регистрах (RDI, RSI, RDX, RCX, R8, R9)
   - ARM64: Первые 8 аргументов в регистрах (X0-X7)
   - Различные макеты стековых фреймов

---

## Этот проект

Этот репозиторий содержит реализации функций с обратным проектированием из бинарных файлов Rosetta 2. Благодаря тщательному анализу и декомпиляции мы определили и задокументировали семантическое назначение сотен функций.

### Цели

1. **Образовательная**: Понять, как работает Rosetta 2 внутри
2. **Документация**: Создать всестороннюю документацию техник трансляции
3. **Реализация**: Предоставить чистые, хорошо задокументированные реализации на C
4. **Сообщество**: Поделиться знаниями с сообществом специалистов по обратному проектированию

### Что мы сделали

- **828 функций** идентифицированы и названы в основном бинарном файле `rosetta`
- **612 функций** полностью реализованы чистым кодом на C
- **66 категорий** функциональности задокументированы
- Полные отображения имён функций с семантическими названиями

### Категории функций

| Категория | Функций | Описание |
|-----------|---------|----------|
| Точка входа | 1 | Инициализация Rosetta |
| Операции с плавающей точкой/векторами | ~20 | Управление состоянием чисел с плавающей точкой и SIMD |
| Операции SIMD с памятью | ~10 | memchr, memcmp, memcpy с SIMD |
| Векторные операции | ~30 | Векторная арифметика NEON, сравнение |
| Трансляция бинарного кода | ~50 | Трансляция инструкций x86_64 -> ARM64 |
| Обработчики системных вызовов | ~60 | Трансляция и перенаправление системных вызовов |
| Управление памятью | ~20 | Обёртки malloc, free, mmap |
| Хеш-функции | ~5 | Хеширование адресов для кэша трансляции |
| Строковые операции | ~30 | Строковые функции, оптимизированные с помощью SIMD |
| Криптографические расширения | ~30 | Пропуск AES, SHA, CRC32 |
| Разбор ELF | ~15 | Поддержка формата бинарных файлов Linux |
| Кэш трансляции | ~20 | Управление AOT/JIT кэшем |

---

## Структура файлов

### Основные файлы```
Rosetta2/
├── README.md                      # This file
├── rosetta_decomp.c               # Original decompilation (74,677 lines)
├── rosettad_decomp.c              # Daemon decompilation (44,064 lines)
├── rosetta_refactored.c           # Minimal wrapper (59 lines) - includes modular headers
├── rosetta_refactored.c.legacy    # Legacy refactored code (19,302 lines) - archived
├── rosetta_refactored.h           # Main header (1,215 lines)
├── rosetta_refactored_complete.c  # Single-file implementation (2,686 lines)
├── rosetta_function_map.h         # Function name mapping (828 functions)
├── rosettad_refactored.c          # Daemon-side refactoring
└── SESSION_*.md                   # Session logs (30+ sessions)

Модульная инфраструктура перевода (56 C files + 65 H files)

Инфраструктура перевода полностью модуляризирована на категоризированные компоненты:``` ├── rosetta_types.h # Base type definitions ├── rosetta_x86_decode.h/.c # x86 decoder ├── rosetta_arm64_emit.h/.c # ARM64 emitter ├── rosetta_translate_alu.h/.c # ALU translations ├── rosetta_translate_memory.h/.c # Memory translations ├── rosetta_translate_branch.h/.c # Branch translations ├── rosetta_translate_bit.h/.c # Bit manipulation ├── rosetta_translate_string.h/.c # String operations ├── rosetta_translate_special.h/.c # Special instructions ├── rosetta_translate_block.h/.c # Block translation coordinator ├── rosetta_translate_dispatch.h/.c # Instruction dispatch ├── rosetta_trans_dispatch.h/.c # Main dispatch layer ├── rosetta_trans_alu.h/.c # ALU emulation layer ├── rosetta_trans_mem.h/.c # Memory emulation layer ├── rosetta_trans_branch.h/.c # Branch emulation layer ├── rosetta_trans_bit.h/.c # Bit emulation layer ├── rosetta_trans_string.h/.c # String emulation layer ├── rosetta_trans_special.h/.c # Special instruction emulation ├── rosetta_trans_system.h/.c # System instruction emulation ├── rosetta_trans_neon.h/.c # NEON emulation layer └── Makefile.modular # Modular build system

### Функциональные модули

Основные модули инфраструктуры и поддержки:```
├── rosetta_jit.h/.c               # JIT compilation infrastructure
├── rosetta_exec.h/.c              # Execution engine (NEW)
├── rosetta_init.h/.c              # Initialization & FP registers (NEW)
├── rosetta_codegen.h/.c           # Code generation primitives
├── rosetta_cache.h/.c             # Translation cache (AOT/JIT)
├── rosetta_transcache.h/.c        # Translation cache management
├── rosetta_context.h/.c           # CPU context management
├── rosetta_runtime.h/.c           # Runtime support
├── rosetta_hash.h/.c              # Address hashing
├── rosetta_memmgmt.h/.c           # Memory management
├── rosetta_memory_utils.h/.c      # Memory utilities
├── rosetta_utils.h/.c             # Utility functions
├── rosetta_string_utils.h/.c      # String utilities
├── rosetta_trans_helpers.h/.c     # Translation helpers
├── rosetta_refactored_helpers.h/.c # Refactoring helpers
└── rosetta_refactored_types.h     # Refactored type definitions

Модули SIMD/Vector

Модули SIMD и векторных операций:``` ├── rosetta_simd.h/.c # SIMD operations ├── rosetta_simd_mem.h/.c # SIMD memory operations ├── rosetta_simd_mem_helpers.h/.c # SIMD memory helpers ├── rosetta_vector.h/.c # Vector operations ├── rosetta_refactored_vector.h/.c # Refactored vector ops ├── rosetta_jit_emit.h/.c # JIT emission ├── rosetta_jit_emit_simd.h/.c # SIMD JIT emission ├── rosetta_fp_translate.h/.c # FP translation ├── rosetta_fp_helpers.h/.c # FP helpers ├── rosetta_trans_neon.c # NEON translation └── rosetta_string_simd.c # SIMD string operations

### Модули системных вызовов

Обработка и трансляция гостевых системных вызовов:```
├── rosetta_syscalls.h/.c          # Syscall translation core
├── rosetta_syscalls_impl.h/.c     # Syscall implementations
└── rosetta_crypto.h/.c            # Crypto instructions (AES, SHA, CRC32)

Дополнительные модули

Дополнительные модули перевода и поддержки:``` ├── rosetta_translate.h/.c # Translation core ├── rosetta_translate_alu_impl.h/.c # ALU implementation details ├── rosetta_translate_memory_impl.h/.c # Memory implementation details ├── rosetta_translate_branch_impl.h/.c # Branch implementation details ├── rosetta_translate_special_impl.h/.c # Special implementation details └── rosetta_arm64_insns.h # ARM64 instruction definitions

### Тестовые файлы```
├── test_jit.c                     # JIT unit tests (737 lines)
└── test_translate.c               # Translation tests (1,059 lines)

Всего: 50+ исходных файлов, ~150 000+ строк кода

Система сборки

Предварительные требования

• GCC или Clang с поддержкой C11
• macOS или Linux (POSIX-совместимая система)

Сборка библиотеки```bash

Build static library using modular Makefile

make -f Makefile.modular all

This creates librosetta.a static library

### Сборка отдельных компонентов```bash
# Compile core modules
gcc -c -I. -std=c11 rosetta_types.h
gcc -c -I. -std=c11 rosetta_codegen.c
gcc -c -I. -std=c11 rosetta_jit.c
gcc -c -I. -std=c11 rosetta_x86_decode.c
gcc -c -I. -std=c11 rosetta_arm64_emit.c

# Compile translation modules
gcc -c -I. -std=c11 rosetta_translate_alu.c
gcc -c -I. -std=c11 rosetta_translate_memory.c
gcc -c -I. -std=c11 rosetta_translate_branch.c
gcc -c -I. -std=c11 rosetta_translate_block.c
gcc -c -I. -std=c11 rosetta_translate_dispatch.c

# Compile support modules
gcc -c -I. -std=c11 rosetta_cache.c
gcc -c -I. -std=c11 rosetta_context.c
gcc -c -I. -std=c11 rosetta_syscalls.c
gcc -c -I. -std=c11 rosetta_runtime.c

Запуск тестов```bash

Build and run JIT tests

make -f Makefile.modular test_jit

Build and run translation tests

make -f Makefile.modular test_translate

### Использование в качестве библиотеки```bash
# Link against the static library
gcc -o my_app my_app.c -L. -lrosetta

# Or compile with source files directly
gcc -I. -o my_app my_app.c rosetta_*.c

Анализ декомпилированных исходных файлов

Исходный декомпилированный файл rosetta_decomp.c содержит строковые литералы, раскрывающие структуру исходного кода. Эти имена файлов встречаются в сообщениях утверждений/ошибок по всему бинарному файлу.

Примечание: Рефакторизованный код использует другую, более модульную структуру, чем оригинал.

Заголовочные файлы (.h)

• Register.h
• TaggedPointer.h
• RedBlackTree.h
• TransactionalList.h
• Translator.h
• AssemblerBuffer.h
• BuilderBase.h
• IrBuilder_x86.h

Исходные файлы C++ (.cpp)

• Repatch.cpp
• Decoder.cpp
• Fixup.cpp
• AssemblerHelpers.cpp
• Operand.cpp
• Opcode.cpp
• BasicBlock.cpp
• ThreadContextFcntl.cpp
• InitStack.cpp
• Thread.cpp
• ThreadContext.cpp
• ThreadContextRuntimeSignals.cpp
• ThreadContextVm.cpp
• VMAllocationTracker.cpp

Заголовочные файлы C++ (.hpp)

• AssemblerBase.hpp
• TranslatorBase.hpp

Прогресс

Текущее состояние

Модульная архитектура (завершена)

Инфраструктура трансляции полностью модуляризирована на следующие компоненты:

Всего: 40+ модульных компонентов

Охват трансляции

Последние сессии

Ссылки

Официальная документация Apple

• Перенос приложений macOS на Apple Silicon
• Рассмотрение архитектурных различий

Технические ресурсы

• ARM64 System V ABI
• Intel 64 и IA-32 Architectures SDM
• ARM Architecture Reference Manual

Связанные проекты

• FEX-Emu - Эмулятор Linux x86_64 на ARM64
• QEMU - Универсальный эмулятор машин
• Rosetta Linux - Исследовательский проект сообщества

Отказ от ответственности

Этот проект предназначен только для образовательных и исследовательских целей.

• Rosetta 2 является проприетарным программным обеспечением Apple
• Этот проект не распространяет бинарные файлы Apple
• Весь код в этом репозитории написан Claude Code с использованием Qwen 3.5.
• Не используйте этот проект для обхода мер безопасности Apple

Лицензия

Лицензия MIT - Подробности в файле LICENSE.

Участие в разработке

Приветствуется участие! Области интереса:

1. Реализация оставшихся функций
2. Улучшение документации
3. Добавление тестовых примеров
4. Анализ производительности
5. Архитектурные диаграммы

Последнее обновление: февраль 2026 года