LogFileParser

Возможности Декодирование и дамп записей $LogFile и записей транзакций. Декодирование изменений атрибутов NTFS. Опциональное разрешение всей доступной информации списка datarun в $LogFile. Опция: "Reconstruct data runs". Восстановление транзакций из свободного пространства (slack space) внутри $LogFile. Возможность восстановления отсутствующих или повреждённых заголовков транзакций, найденных в slack. Опция: "Rebuild header". Опциональная дополнительная тонкая настройка результата с помощью значения уровня ошибки LSN. Опция: "LSN error level". Запись в csv и импорт в базу данных sqlite с несколькими таблицами. Опциональный импорт csv-вывода mft2csv в базу данных. Выбор среди 6 различных форматов временных меток. Выбор точности временных меток: None, MilliSec и NanoSec. Выбор разделителя точности на уровне миллисекунд. Выбор разделителя точности на уровне наносекунд. Выбор корректировки региона для временных меток. По умолчанию временные метки представляются в UTC 0.0. Выбор разделителя вывода. Опция: "Set separator". Настраиваемый вывод UNICODE или ANSI. Опция "Unicode". Настраиваемый размер записи MFT (1024 или 4096). Опция "MFT record size". Опциональное декодирование отдельных транзакций или частичных транзакций (фрагментов). Опция восстановления RCRD из одной или нескольких транзакций (фрагментов). Опция настройки для повреждённого $LogFile. Полезна при использовании вырезанных (carved) RCRD в качестве входных данных. Опция пропуска fixup (для повреждённого $LogFile, обычно вырезанного из памяти). Подробный детальный вывод в debug.log. Настраиваемый список lsn, разделённых запятыми, для запуска сверхдетальной информации о конкретных транзакциях в debug.log. Конфигурация для 32-битной ОС. Конфигурация для извлечения бинарных данных обновлений резидентных данных. Автоматически сгенерированный sql для импорта вывода в базу данных MySql. Опция пропуска всего, связанного с sqlite3, для ускорения общего парсинга. Опциональный режим командной строки. Поддерживает errorlevel, подходящий для пакетных сценариев.

Предыстория NTFS спроектирована как восстанавливаемая файловая система. Это достигается за счёт журналирования всех транзакций, изменяющих структуру тома. Таким образом, любое изменение файла на томе потребует, чтобы что-то было записано и в $LogFile, чтобы это можно было откатить в случае сбоя системы в любой момент. Поэтому в этот файл записывается много информации, и поскольку он циклический, это означает, что новые транзакции перезаписывают более старые записи в файле. Таким образом, объём исторических данных, которые можно извлечь из этого файла, несколько ограничен. Опять же, это зависит от типа тома и размера $LogFile. На системном диске часто используемой системы вы, вероятно, получите лишь несколько часов истории, тогда как внешний/вторичный диск с файлами резервных копий, вероятно, будет содержать больше исторической информации. А файл размером 2 МБ будет содержать гораздо меньше истории, чем файл размером 256 МБ. Так в каком диапазоне размеров можно настроить этот файл? От 256 КБ и выше. Настроить размер до 2 ГБ можно так: "chkdsk D: /L:2097152". Как большой размер файла журнала влияет на производительность, выходит за рамки этого текста. Установить его меньше 2048 обычно невозможно. Однако это возможно путём патча untfs.dll: http://code.google.com/p/mft2csv/wiki/Tiny_NTFS

Введение Этот парсер декодирует и выгружает множество информации о транзакциях из $LogFile в NTFS. Генерируется несколько csv-файлов, а также база данных sqlite с именем ntfs.db, содержащая всю соответствующую информацию. Вывод чрезвычайно детальный и очень низкоуровневый, что означает, что для его понимания требуются приличные знания NTFS. В настоящее время обрабатываются следующие типы Redo-транзакций с осмысленным декодированием вывода:

InitializeFileRecordSegment CreateAttribute DeleteAttribute UpdateResidentValue UpdateNonResidentValue UpdateMappingPairs SetNewAttributeSizes AddindexEntryRoot DeleteindexEntryRoot AddIndexEntryAllocation DeleteIndexEntryAllocation WriteEndOfIndexBuffer SetIndexEntryVcnRoot SetIndexEntryVcnAllocation UpdateFileNameRoot UpdateFileNameAllocation SetBitsInNonresidentBitMap ClearBitsInNonresidentBitMap OpenNonresidentAttribute OpenAttributeTableDump AttributeNamesDump DirtyPageTableDump TransactionTableDump UpdateRecordDataRoot UpdateRecordDataAllocation CompensationlogRecord

Список поддерживаемых в настоящее время атрибутов: $STANDARD_INFORMATION $ATTRIBUTE_LIST $FILE_NAME $OBJECT_ID $SECURITY_DESCRIPTOR $VOLUME_NAME $VOLUME_INFORMATION $DATA $INDEX_ROOT $INDEX_ALLOCATION $REPARSE_POINT $EA_INFORMATION $EA $LOGGED_UTILITY_STREAM

То есть, по сути, поддерживаются все атрибуты.

Объяснение различных генерируемых выходных данных:

LogFile.csv: Основной csv, генерируемый парсером.

LogFile_DataRuns.csv Входная информация, необходимая для восстановления datarun.

LogFile_DataRunsResolved.csv Итоговый вывод восстановленных datarun.

LogFile_INDX_I30.csv Все выгруженные и декодированные записи индексов (IndexRoot/IndexAllocation).

LogFileJoined.csv То же, что и LogFile.csv, но с присоединённой информацией об именах файлов из $UsnJrnl или csv-файла mft2csv.

MFTRecords.bin Фиктивный $MFT, воссозданный на основе найденных записей MFT в транзакциях InitializeFileRecordSegment. Можно применить к нему mft2csv (не забудьте правильно настроить "broken MFT" и "Fixups").

LogFile_lfUsnJrnl.csv Записи для $UsnJrnl, которые были декодированы внутри $LogFile.

LogFile_UndoWipe_INDX_I30.csv Все операции отмены (undo) для очистки индексов каталогов (INDX).

LogFile_AllTransactionHeaders.csv Все заголовки декодированных транзакций.

LogFile_BitsInNonresidentBitMap.csv Все декодированные операции SetBitsInNonresidentBitMap.

LogFile_DirtyPageTable32bit.csv и LogFile_DirtyPageTable64bit.csv Все записи в каждой декодированной операции DirtyPageTableDump как для 32-битной, так и для 64-битной ОС.

LogFile_Mft_ObjectId_Entries.csv Декодированные атрибуты $ObjectId.

LogFile_ObjIdO.csv Все декодированные данные из системного файла $ObjId:$O.

LogFile_OpenAttributeTable.csv Все записи в каждой декодированной операции OpenAttributeTableDump.

LogFile_QuotaO.csv Все декодированные данные из системного файла $Quota:$O.

LogFile_QuotaQ.csv Все декодированные данные из системного файла $Quota:$Q.

LogFile_RCRD.csv Все заголовки декодированных записей RCRD.

LogFile_ReparseR.csv Все декодированные данные из системного файла $Reparse:$R.

LogFile_SecureSDH.csv Все декодированные данные из системного файла $Secure:$SDH.

LogFile_SecureSII.csv Все декодированные данные из системного файла $Secure:$SII.

LogFile_SecurityDescriptors.csv Декодированные дескрипторы безопасности. Источником может быть $SECURITY_DESCRIPTOR или $Secure:$SDS.

LogFile_SlackAttributeNamesDump.csv Все записи из декодированных транзакций AttributeNamesDump, найденных в свободном пространстве (slack space).

LogFile_SlackOpenAttributeTable.csv Все записи из декодированных транзакций OpenAttributeTableDump, найденных в свободном пространстве (slack space).

LogFile_TransactionTable.csv Декодированные транзакции TransactionTableDump.

LogFile_Filenames.csv Все разрешённые имена файлов с MftRef, MftRefSeqNo и Lsn.

LogFile_TxfData.csv Декодированные данные из $DATA:$TXF_DATA в $LOGGED_UTILITY_STREAM.

LogFile_UpdateFileName_I30.csv Все декодированные данные операций UpdateFileNameRoot и UpdateFileNameAllocation как для redo-, так и для undo-операций.

LogFile_CompensationlogRecord.csv Все декодированные данные CompensationlogRecord. Не актуально для nt5.x.

Ntfs.db Файл базы данных sqlite с таблицами, почти эквивалентными вышеуказанным csv-файлам. База данных содержит 5 таблиц: DataRuns IndexEntries LogFile LogFileTmp (временная таблица, используемая при восстановлении datarun). UsnJrnl