
magic-extractor v1.3.1
Универсальный инструмент извлечения для Windows, который распознаёт неизвестные файлы и направляет их в соответствующий встроенный экстрактор.
Magic Extractor
Описание
Magic Extractor — это универсальный инструмент для извлечения данных в Windows, который определяет файл с помощью нескольких детекторов и направляет его в нужный встроенный экстрактор. Он стремится охватывать основные форматы сжатия, установщики, которые действительно встречаются сегодня, и ряд менее распространённых архиваторов.
Он автоматически определяет 80+ форматов — архивы, установщики, образы дисков, криминалистические
образы (EWF/AFF/AD1), образы оптических дисков, хранилища почты и современные кодеки. Полный список см. в
formats.md.
Быстрый старт
Скачайте последний релиз, распакуйте его и запустите:
magic-extractor.exe extract mystery.bin
См. Примеры для identify, list, carve, --recursive и --bruteforce.
Структура проекта
src/cli: инструмент командной строки.bin: встроенные бинарные файлы детекторов и экстракторов.detectors: DIE, Magika, binwalk (определения TrID преобразуются вdata/signatures.json).extractors: 7-Zip (плюс 7-Zip ZS в качестве запасного варианта), unrar, unace, unshield, lessmsi, dark (WiX) и другие.
data: данные маршрутизации, сгенерированные из обработчиков (см. ниже).formats: один модуль-обработчик на каждое семейство форматов.
src/gui: необязательный интерфейс на tkinter, обёртывающий CLI (см. GUI).icons: иконки Fluent, встроенные в PNG для светлого и тёмного режимов.
test: модульные тесты, наборы тестов форматов и движков, а также образцы файлов для каждого формата.tools: инструменты разработчика —generate_data.py(создаёт данные маршрутизации из обработчиков) иgenerate_icons.py(встраивает иконки GUI).update: конфигурация и скрипты обновления, которые обновляют встроенные бинарные файлы.docs: поддерживаемые форматы, как добавить обработчик, уведомления третьих сторон.
Скомпилированная сборка хранит bin/, data/ и config.ini вне exe, чтобы
их можно было обновлять заменой файлов; cli_paths.py находит их рядом с
исполняемым файлом (в замороженном виде) или в src/cli/ (при разработке).
Как работает обнаружение
При обычном извлечении детекторы запускаются в следующем порядке с ранним выходом — побеждает первый, который даёт известный обработчик (сначала самые дешёвые, поэтому ML-модель обычно пропускается):
- puremagic — чистый Python, без подпроцессов; дешёвая проверка MIME для корректно сформированных архивов.
- встроенные сигнатуры — шаблоны магических байтов в
data/signatures.json; именуют архиваторы, которые пропускают движки (bcm, dgca, kgb, uharc, alzip, freearc, ...), без внешнего процесса. - DIE (Detect It Easy) — сигнатурный движок; специалист по установщикам, PE и SFX.
- binwalk — короткие ключи типов (cpio, lzma, ...) и встроенное содержимое.
- Magika — детектор типов содержимого на основе ИИ от Google, в качестве универсального средства.
Каждый детектор вносит уникальный вклад (они дополняют друг друга, а не дублируют): база сигнатур именует архиваторы, которые пропускают движки, DIE обрабатывает установщики/PE, binwalk ловит несколько типов, которые пропускают остальные, puremagic/Magika покрывают MIME.
PureMagic 2.x также обеспечивает глубокое сканирование с учётом содержимого, когда получает полный
файл. Анализ полного файла используется по умолчанию; необязательный модификатор --fast-check
передаёт только первые 64 КиБ, когда скорость запуска важнее глубокой проверки.
Каждый обработчик объявляет свои собственные индикаторы через detection_mimes() /
detection_names() / detection_signatures(); tools/generate_data.py компилирует
их в data/handlers.json и data/signatures.json (с необязательным
data/extra_detections.json, объединяемым поверх). TrID не используется.
Примечание: любой формат, чья сигнатура отсутствует в
magic_data.jsonpuremagic (или который puremagic сообщает только как общийapplication/octet-stream), должен объявить пользовательскую записьdetection_signatures()в своём обработчике — иначе он не будет обнаружен по содержимому.
--bruteforceотключает ранний выход: запускаются все детекторы и каждый обнаруженный обработчик пробуется по очереди (полезно, когда первое предположение неверно).- Для исполняемых файлов также добавляются обработчики SFX и установщиков (RAR, ACE, ARC, KGB, UHARC, Inno Setup, BitRock, Clickteam) в качестве запасных кандидатов; каждый из них отклоняет файлы, которые не являются его собственными, поэтому цепочка переходит к следующему.
- Подкоманда
carveдополнительно использует карту смещений binwalk для извлечения архивов, встроенных по произвольным смещениям (например, внутри образов прошивок).
Карта маршрутизации обнаружение → обработчик находится в data/handlers.json (генерируется, загружается
во время выполнения). Ключ может отображаться на несколько обработчиков, которые пробуются по порядку, пока один не добьётся успеха:
например, сначала 7-Zip, затем 7-Zip ZS для того, что основной 7-Zip не может открыть (SquashFS с
LZ4, NSIS с ZSTD). Чёрный список общих токенов находится в data/detection_blacklist.json.
Поддерживаемые форматы
Полный список форматов и их обработчиков см. в formats.md.
Добавление формата
Чтобы добавить поддержку нового формата, см. docs/adding-a-handler.md — сквозное руководство (класс обработчика, объявление обнаружения, поиск DIE/TrID, сигнатуры magic, перегенерация данных маршрутизации, включение инструмента в комплект и тестирование).
Установка (из исходного кода)
Большинство пользователей просто скачивают релиз (см. Быстрый старт). Чтобы запустить из исходного кода: требуется Python 3.12 или новее.
git clone <repo-url>
cd magic-extractor
pip install -r src/cli/requirements.txt
Использование
Magic Extractor использует подкоманды:
python src/cli/main.py extract <path> [output_dir] [options] # detect and extract
python src/cli/main.py identify <path> # report type + candidate handlers
python src/cli/main.py list <path> # list archive contents
python src/cli/main.py carve <path> [output_dir] [options] # carve embedded archives (binwalk offsets)
Путь без подкоманды по умолчанию использует extract (обратная совместимость), а
параметры могут указываться перед путём или подкомандой:
python src/cli/main.py <path> <output_dir> [options]
python src/cli/main.py --debug <path>
python src/cli/main.py --version
--debug и --fast-check работают с любой подкомандой; --password — с
extract, list и carve.
<path> может быть папкой для любой подкоманды: её файлы (не подпапки)
обрабатываются по одному. Каждый файл получает собственную выходную папку: <stem>_extracted
(рядом с файлом или в output_dir, если он задан), либо <name>_extracted, когда
два файла имеют одинаковое имя без расширения.
Если в выходной папке уже есть файлы, extract записывает в новую
<folder>_<YYYYmmdd-HHMMSS> вместо смешивания с предыдущим результатом или его перезаписи;
--merge-output извлекает в существующую папку, перезаписывая
файлы и папки с теми же именами (GUI делает это, когда место назначения
заблокировано). Извлекаемый архив никогда не перезаписывается. Каждая попытка обработчика
выполняется в собственной временной папке, поэтому неудачная попытка никогда не оставляет частичные файлы.