Назад к обновлениям
New releaseAug 27, 2026

magic-extractor v1.3.1

Универсальный инструмент извлечения для Windows, который распознаёт неизвестные файлы и направляет их в соответствующий встроенный экстрактор.

Поделиться

Magic Extractor

Magic Extractor

Описание

Magic Extractor — это универсальный инструмент для извлечения данных в Windows, который определяет файл с помощью нескольких детекторов и направляет его в нужный встроенный экстрактор. Он стремится охватывать основные форматы сжатия, установщики, которые действительно встречаются сегодня, и ряд менее распространённых архиваторов.

Он автоматически определяет 80+ форматов — архивы, установщики, образы дисков, криминалистические образы (EWF/AFF/AD1), образы оптических дисков, хранилища почты и современные кодеки. Полный список см. в formats.md.

Быстрый старт

Скачайте последний релиз, распакуйте его и запустите:

magic-extractor.exe extract mystery.bin

См. Примеры для identify, list, carve, --recursive и --bruteforce.

Структура проекта

  • src/cli: инструмент командной строки.
    • bin: встроенные бинарные файлы детекторов и экстракторов.
      • detectors: DIE, Magika, binwalk (определения TrID преобразуются в data/signatures.json).
      • extractors: 7-Zip (плюс 7-Zip ZS в качестве запасного варианта), unrar, unace, unshield, lessmsi, dark (WiX) и другие.
    • data: данные маршрутизации, сгенерированные из обработчиков (см. ниже).
    • formats: один модуль-обработчик на каждое семейство форматов.
  • src/gui: необязательный интерфейс на tkinter, обёртывающий CLI (см. GUI).
    • icons: иконки Fluent, встроенные в PNG для светлого и тёмного режимов.
  • test: модульные тесты, наборы тестов форматов и движков, а также образцы файлов для каждого формата.
  • tools: инструменты разработчика — generate_data.py (создаёт данные маршрутизации из обработчиков) и generate_icons.py (встраивает иконки GUI).
  • update: конфигурация и скрипты обновления, которые обновляют встроенные бинарные файлы.
  • docs: поддерживаемые форматы, как добавить обработчик, уведомления третьих сторон.

Скомпилированная сборка хранит bin/, data/ и config.ini вне exe, чтобы их можно было обновлять заменой файлов; cli_paths.py находит их рядом с исполняемым файлом (в замороженном виде) или в src/cli/ (при разработке).

Как работает обнаружение

При обычном извлечении детекторы запускаются в следующем порядке с ранним выходом — побеждает первый, который даёт известный обработчик (сначала самые дешёвые, поэтому ML-модель обычно пропускается):

  1. puremagic — чистый Python, без подпроцессов; дешёвая проверка MIME для корректно сформированных архивов.
  2. встроенные сигнатуры — шаблоны магических байтов в data/signatures.json; именуют архиваторы, которые пропускают движки (bcm, dgca, kgb, uharc, alzip, freearc, ...), без внешнего процесса.
  3. DIE (Detect It Easy) — сигнатурный движок; специалист по установщикам, PE и SFX.
  4. binwalk — короткие ключи типов (cpio, lzma, ...) и встроенное содержимое.
  5. Magika — детектор типов содержимого на основе ИИ от Google, в качестве универсального средства.

Каждый детектор вносит уникальный вклад (они дополняют друг друга, а не дублируют): база сигнатур именует архиваторы, которые пропускают движки, DIE обрабатывает установщики/PE, binwalk ловит несколько типов, которые пропускают остальные, puremagic/Magika покрывают MIME.

PureMagic 2.x также обеспечивает глубокое сканирование с учётом содержимого, когда получает полный файл. Анализ полного файла используется по умолчанию; необязательный модификатор --fast-check передаёт только первые 64 КиБ, когда скорость запуска важнее глубокой проверки.

Каждый обработчик объявляет свои собственные индикаторы через detection_mimes() / detection_names() / detection_signatures(); tools/generate_data.py компилирует их в data/handlers.json и data/signatures.json (с необязательным data/extra_detections.json, объединяемым поверх). TrID не используется.

Примечание: любой формат, чья сигнатура отсутствует в magic_data.json puremagic (или который puremagic сообщает только как общий application/octet-stream), должен объявить пользовательскую запись detection_signatures() в своём обработчике — иначе он не будет обнаружен по содержимому.

  • --bruteforce отключает ранний выход: запускаются все детекторы и каждый обнаруженный обработчик пробуется по очереди (полезно, когда первое предположение неверно).
  • Для исполняемых файлов также добавляются обработчики SFX и установщиков (RAR, ACE, ARC, KGB, UHARC, Inno Setup, BitRock, Clickteam) в качестве запасных кандидатов; каждый из них отклоняет файлы, которые не являются его собственными, поэтому цепочка переходит к следующему.
  • Подкоманда carve дополнительно использует карту смещений binwalk для извлечения архивов, встроенных по произвольным смещениям (например, внутри образов прошивок).

Карта маршрутизации обнаружение → обработчик находится в data/handlers.json (генерируется, загружается во время выполнения). Ключ может отображаться на несколько обработчиков, которые пробуются по порядку, пока один не добьётся успеха: например, сначала 7-Zip, затем 7-Zip ZS для того, что основной 7-Zip не может открыть (SquashFS с LZ4, NSIS с ZSTD). Чёрный список общих токенов находится в data/detection_blacklist.json.

Поддерживаемые форматы

Полный список форматов и их обработчиков см. в formats.md.

Добавление формата

Чтобы добавить поддержку нового формата, см. docs/adding-a-handler.md — сквозное руководство (класс обработчика, объявление обнаружения, поиск DIE/TrID, сигнатуры magic, перегенерация данных маршрутизации, включение инструмента в комплект и тестирование).

Установка (из исходного кода)

Большинство пользователей просто скачивают релиз (см. Быстрый старт). Чтобы запустить из исходного кода: требуется Python 3.12 или новее.

git clone <repo-url>
cd magic-extractor
pip install -r src/cli/requirements.txt

Использование

Magic Extractor использует подкоманды:

python src/cli/main.py extract  <path> [output_dir] [options]   # detect and extract
python src/cli/main.py identify <path>                          # report type + candidate handlers
python src/cli/main.py list     <path>                          # list archive contents
python src/cli/main.py carve    <path> [output_dir] [options]   # carve embedded archives (binwalk offsets)

Путь без подкоманды по умолчанию использует extract (обратная совместимость), а параметры могут указываться перед путём или подкомандой:

python src/cli/main.py <path> <output_dir> [options]
python src/cli/main.py --debug <path>
python src/cli/main.py --version

--debug и --fast-check работают с любой подкомандой; --password — с extract, list и carve.

<path> может быть папкой для любой подкоманды: её файлы (не подпапки) обрабатываются по одному. Каждый файл получает собственную выходную папку: <stem>_extracted (рядом с файлом или в output_dir, если он задан), либо <name>_extracted, когда два файла имеют одинаковое имя без расширения.

Если в выходной папке уже есть файлы, extract записывает в новую <folder>_<YYYYmmdd-HHMMSS> вместо смешивания с предыдущим результатом или его перезаписи; --merge-output извлекает в существующую папку, перезаписывая файлы и папки с теми же именами (GUI делает это, когда место назначения заблокировано). Извлекаемый архив никогда не перезаписывается. Каждая попытка обработчика выполняется в собственной временной папке, поэтому неудачная попытка никогда не оставляет частичные файлы.

Категории