rowingdude/analyzemftanalyzeMFT.py предназначен для полного разбора файла MFT из файловой системы NTFS и максимально точного представления результатов в нескольких форматах.
Статус: Все тесты проходят на Python 3.8-3.12 в Windows, macOS и Linux.
# Install
pip install analyzeMFT
# Basic usage
python analyzeMFT.py -f MFT_FILE -o output.csv --csv
# Generate test MFT for testing
python -c "from src.analyzeMFT.test_generator import create_test_mft; create_test_mft('test.mft', 100)"
# Analyze with multiple outputs
python analyzeMFT.py -f test.mft -o output.json --json --hash
AnalyzeMFT — это инструмент на Python, предназначенный для разбора и анализа главной файловой таблицы NTFS (MFT).
Он преобразует необработанные бинарные данные MFT в структурированный, читаемый вывод, подходящий для цифровой криминалистики, реагирования на инциденты и анализа файловой системы. Инструмент поддерживает широкий спектр форматов вывода и обеспечивает детальное извлечение метаданных, позволяя исследователям изучать временные метки файлов, атрибуты и структурные свойства томов NTFS.
Основная цель AnalyzeMFT — помочь криминалистам восстановить активность файловой системы путём декодирования записей MFT. Каждая запись содержит важную информацию, такую как имена файлов, время создания и изменения, размеры файлов и связи между каталогами. Инструмент обрабатывает как активные, так и удалённые записи, что позволяет проводить всесторонний анализ временной шкалы и восстановление артефактов. Он включает надёжную обработку ошибок для управления повреждёнными или неполными записями MFT, обеспечивая достоверную обработку даже на повреждённых файловых системах.
Поддерживается несколько форматов вывода для интеграции с типовыми криминалистическими рабочими процессами. Пользователи могут экспортировать результаты в файлы CSV, JSON, XML или Excel для просмотра и составления отчётов. Для анализа временной шкалы доступен формат body file, совместимый с mactime и другими инструментами. Экспорт в SQLite создаёт структуру реляционной базы данных для запросов и долгосрочного хранения. Форматы TSK timeline и CSV log2timeline позволяют напрямую импортировать данные в устоявшиеся криминалистические платформы.
В инструмент встроена оптимизация производительности для эффективной работы с большими файлами MFT. Обработка выполняется настраиваемыми порциями для управления использованием памяти, что особенно важно при анализе MFT размером в сотни мегабайт. При вычислении хешей используется многопроцессорность для сокращения времени обработки. Пользователи могут регулировать количество рабочих процессов и размер порций в зависимости от ресурсов системы. Индикаторы выполнения обеспечивают обратную связь в реальном времени при длительных операциях.
Инструмент поддерживает настраиваемые профили анализа для различных операционных задач. Профиль по умолчанию обеспечивает сбалансированную обработку для общего использования. Быстрый профиль минимизирует накладные расходы на обработку для быстрой сортировки. Криминалистический профиль обеспечивает максимальное извлечение данных, включая все варианты временных меток и расширенные атрибуты. Профиль производительности настраивает внутренние параметры для приоритета скорости и эффективности использования ресурсов на больших наборах данных.
Вычисление хешей доступно для атрибутов файловых записей, содержащих блоки данных (data runs). Для резидентных и нерезидентных данных могут быть сгенерированы хеши MD5, SHA256, SHA512 и CRC32. Эта возможность поддерживает идентификацию файлов и проверку целостности. По умолчанию хеширование выполняется параллельно, количество процессов настраивается. Пользователи могут отключить многопроцессорность в средах с ограниченными ресурсами.
Управление конфигурацией осуществляется через параметры командной строки или внешние файлы в формате JSON или YAML. Файл конфигурации может определять настройки вывода, профили анализа, параметры хеширования и критерии фильтрации. Примеры файлов конфигурации можно создать с помощью опции --create-config. Опция --list-profiles отображает все доступные встроенные профили и их описания.
Входной файл задаётся с помощью опции -f, за которой следует путь к файлу MFT. Формат вывода определяется расширением файла или явными флагами экспорта. Опция -o задаёт место назначения вывода. При экспорте в SQLite необходимо использовать флаг --sqlite. Для вывода в CSV не требуется дополнительных флагов, если выходной файл заканчивается на .csv.
В комплект входит генератор тестовых MFT для целей разработки и обучения. С помощью опции --generate-test-mft пользователи могут создавать синтетические файлы MFT с заданным количеством записей. Эта функция полезна для проверки функциональности инструмента, тестирования парсеров или создания демонстрационных данных.
Параметры командной строки включают управление подробностью вывода: -v для увеличения объёма выводимых данных и -d для ведения журнала отладки. Они помогают диагностировать проблемы в процессе обработки. Опции экспорта позволяют выбрать формат, не полагаясь на расширения файлов. Опции настройки производительности включают --chunk-size для размера пакета записей и --hash-processes для установки количества потоков хеширования.
Инструмент включает структурированную справочную систему. Запуск скрипта с опцией --help отображает все доступные параметры и их описания. Сводка использования показывает обязательные и необязательные аргументы. Подробные пояснения приводятся для каждой категории параметров, включая экспорт, производительность, конфигурацию и настройки отладки.
Версия 3.1.1 включает значительные улучшения качества кода и покрытия тестами. Набор тестов теперь включает 224 комплексных теста, охватывающих все основные компоненты. Конвейеры CI/CD GitHub Actions обеспечивают качество кода на Python 3.8-3.12 в Linux, Windows и macOS. В процесс сборки интегрированы проверка безопасности с помощью Bandit и проверка зависимостей с помощью Safety. Отчётность о покрытии кода через Codecov отслеживает эффективность тестов.
Запланированные форматы экспорта включают STIX/TAXII для обмена данными о киберугрозах и интеграцию с Elasticsearch и Splunk для централизованного анализа журналов. Экспорт в графовую базу данных Neo4j позволит визуализировать связи файловой системы. Пользователи смогут фильтровать вывод по диапазону дат, типу файла и размеру непосредственно в инструменте. Возможно появление интерактивного режима для пошагового изучения записей.
Вклад в проект принимается через pull request на GitHub. Разработчики должны обеспечивать совместимость с Python 3.8 и выше. Весь новый код должен включать аннотации типов и всесторонние модульные тесты. Набор тестов запускается с помощью pytest, покрытие должно оставаться выше 80%. Код должен соответствовать рекомендациям PEP 8 и быть кроссплатформенным. Документация должна обновляться для любых новых функций или изменений.
Этот инструмент предоставляется как есть для законных целей криминалистического анализа и анализа безопасности. Пользователи несут ответственность за получение надлежащего разрешения перед анализом любых файловых систем или данных MFT. Авторы не несут ответственности за неправомерное использование данного программного обеспечения.