LogFileParser

Features $LogFile रिकॉर्ड और ट्रांज़ैक्शन एंट्रियों को डिकोड और डंप करें। NTFS एट्रिब्यूट परिवर्तनों को डिकोड करें। वैकल्पिक रूप से $LogFile में उपलब्ध सभी datarun सूची जानकारी को हल करें। विकल्प: "Reconstruct data runs"। $LogFile के भीतर slack space से ट्रांज़ैक्शन पुनर्प्राप्त करें। slack में पाए गए ट्रांज़ैक्शन के लापता या क्षतिग्रस्त हेडर को पुनर्निर्मित करने का चयन करें। विकल्प: "Rebuild header"। वैकल्पिक रूप से LSN error level मान के साथ परिणाम को फाइनट्यून भी करें। विकल्प: "LSN error level"। csv में लॉग करता है और कई तालिकाओं के साथ sqlite डेटाबेस में आयात करता है। वैकल्पिक रूप से mft2csv के csv आउटपुट को db में आयात करें। 6 विभिन्न timestamp प्रारूपों में से चुनें। timestamp परिशुद्धता चुनें: None, MilliSec और NanoSec। millisec पर Precision separator चुनें। nanosec पर Precision separator चुनें। timestamps के लिए region adjustment चुनें। डिफ़ॉल्ट timestamps को UTC 0.0 में प्रस्तुत करना है। आउटपुट separator चुनें। विकल्प: "Set separator"। कॉन्फ़िगर करने योग्य UNICODE या ANSI आउटपुट। विकल्प "Unicode"। कॉन्फ़िगर करने योग्य MFT record size (1024 या 4096)। विकल्प "MFT record size"। वैकल्पिक रूप से व्यक्तिगत ट्रांज़ैक्शन या आंशिक ट्रांज़ैक्शन (fragment) को डिकोड करें। एकल या एकाधिक ट्रांज़ैक्शन (fragments) से RCRD's को पुनर्निर्मित करने का विकल्प। टूटे हुए $LogFile को कॉन्फ़िगर करने का विकल्प। carved RCRD's को इनपुट के रूप में उपयोगी। fixups को छोड़ने का विकल्प (टूटे हुए $LogFile के लिए, आमतौर पर मेमोरी से carved)। debug.log में विस्तृत verbose आउटपुट। विशिष्ट ट्रांज़ैक्शन के बारे में debug.log में अति विस्तृत जानकारी ट्रिगर करने के लिए lsn's की कॉन्फ़िगर करने योग्य comma separated सूची। 32-bit OS के लिए कॉन्फ़िगरेशन। resident data updates के binary data extraction के लिए कॉन्फ़िगरेशन। आउटपुट को MySql डेटाबेस में आयात करने के लिए autogenerated sql। कुल पार्सिंग को तेज़ करने के लिए सभी sqlite3 सामग्री को छोड़ने का विकल्प। वैकल्पिक command line mode। batch scripting के लिए उपयुक्त errorlevel का समर्थन करता है।

Background NTFS को एक recoverable filesystem के रूप में डिज़ाइन किया गया है। यह वॉल्यूम संरचना को बदलने वाले सभी ट्रांज़ैक्शन के लॉगिंग के माध्यम से किया जाता है। इसलिए वॉल्यूम पर किसी फ़ाइल में कोई भी परिवर्तन के लिए $LogFile में भी कुछ लॉग करने की आवश्यकता होगी, ताकि किसी भी समय सिस्टम विफलता की स्थिति में इसे उलटा किया जा सके। इसलिए इस फ़ाइल में बहुत सारी जानकारी लिखी जाती है, और चूंकि यह circular है, इसका मतलब है कि नए ट्रांज़ैक्शन फ़ाइल में पुराने रिकॉर्ड को अधिलेखित कर रहे हैं। इस प्रकार इस फ़ाइल से कितना ऐतिहासिक डेटा प्राप्त किया जा सकता है, यह कुछ हद तक सीमित है। फिर, यह वॉल्यूम के प्रकार, और $LogFile के आकार पर निर्भर करेगा। एक बार-बार उपयोग किए जाने वाले सिस्टम के systemdrive पर, आप संभवतः केवल कुछ घंटों का इतिहास प्राप्त करेंगे, जबकि बैकअप फ़ाइलों वाली एक external/secondary डिस्क में संभवतः अधिक ऐतिहासिक जानकारी होगी। और 2MB फ़ाइल में 256MB वाली की तुलना में बहुत कम इतिहास होगा। तो इस फ़ाइल को किस आकार सीमा में कॉन्फ़िगर किया जा सकता है? 256 KB और उससे अधिक कुछ भी। आकार को 2 GB पर कॉन्फ़िगर करना इस तरह किया जा सकता है, "chkdsk D: /L:2097152"। एक बड़े आकार की logfile का प्रदर्शन पर क्या प्रभाव पड़ता है, यह इस पाठ के दायरे से बाहर है। इसे सामान्यतः 2048 से कम सेट करना संभव नहीं है। हालाँकि untfs.dll को पैच करके यह संभव है: http://code.google.com/p/mft2csv/wiki/Tiny_NTFS

Intro यह parser NTFS पर $LogFile से बहुत सारी ट्रांज़ैक्शन जानकारी को डिकोड और डंप करेगा। कई csv's उत्पन्न होते हैं साथ ही सभी प्रासंगिक जानकारी वाला ntfs.db नामक एक sqlite डेटाबेस भी। आउटपुट अत्यंत विस्तृत और बहुत निम्न स्तर का है, जिसका अर्थ है कि इसे समझने के लिए कुछ अच्छे NTFS ज्ञान की आवश्यकता है। वर्तमान में संभाले गए सार्थक आउटपुट डिकोड वाले Redo transaction प्रकार हैं:

InitializeFileRecordSegment CreateAttribute DeleteAttribute UpdateResidentValue UpdateNonResidentValue UpdateMappingPairs SetNewAttributeSizes AddindexEntryRoot DeleteindexEntryRoot AddIndexEntryAllocation DeleteIndexEntryAllocation WriteEndOfIndexBuffer SetIndexEntryVcnRoot SetIndexEntryVcnAllocation UpdateFileNameRoot UpdateFileNameAllocation SetBitsInNonresidentBitMap ClearBitsInNonresidentBitMap OpenNonresidentAttribute OpenAttributeTableDump AttributeNamesDump DirtyPageTableDump TransactionTableDump UpdateRecordDataRoot UpdateRecordDataAllocation CompensationlogRecord

वर्तमान में समर्थित attributes की सूची: $STANDARD_INFORMATION $ATTRIBUTE_LIST $FILE_NAME $OBJECT_ID $SECURITY_DESCRIPTOR $VOLUME_NAME $VOLUME_INFORMATION $DATA $INDEX_ROOT $INDEX_ALLOCATION $REPARSE_POINT $EA_INFORMATION $EA $LOGGED_UTILITY_STREAM

तो मूल रूप से सभी attributes समर्थित हैं।

विभिन्न उत्पन्न आउटपुट की व्याख्या:

LogFile.csv: parser से उत्पन्न मुख्य csv।

LogFile_DataRuns.csv dataruns के पुनर्निर्माण के लिए आवश्यक इनपुट जानकारी

LogFile_DataRunsResolved.csv पुनर्निर्मित dataruns का अंतिम आउटपुट

LogFile_INDX_I30.csv सभी डंप और डिकोड किए गए index records (IndexRoot/IndexAllocation)

LogFileJoined.csv LogFile.csv के समान, लेकिन $UsnJrnl या mft2csv के csv से filename जानकारी जोड़ी गई है।

MFTRecords.bin InitializeFileRecordSegment ट्रांज़ैक्शन में पाए गए MFT records के आधार पर पुनर्निर्मित Dummy $MFT। इस पर mft2csv का उपयोग किया जा सकता है ("broken MFT" और "Fixups" को ठीक से कॉन्फ़िगर करना याद रखें)।

LogFile_lfUsnJrnl.csv $UsnJrnl के लिए रिकॉर्ड जो $LogFile के भीतर डिकोड किए गए हैं

LogFile_UndoWipe_INDX_I30.csv directory indexes (INDX) को साफ़ करने के लिए सभी undo operations।

LogFile_AllTransactionHeaders.csv डिकोड किए गए ट्रांज़ैक्शन के सभी हेडर।

LogFile_BitsInNonresidentBitMap.csv सभी डिकोड किए गए SetBitsInNonresidentBitMap operations।

LogFile_DirtyPageTable32bit.csv और LogFile_DirtyPageTable64bit.csv 32bit और 64bit OS दोनों के लिए प्रत्येक डिकोड किए गए DirtyPageTableDump operation में सभी एंट्रियाँ।

LogFile_Mft_ObjectId_Entries.csv डिकोड किए गए $ObjectId attributes।

LogFile_ObjIdO.csv system file $ObjId:$O से सभी डिकोड।

LogFile_OpenAttributeTable.csv प्रत्येक डिकोड किए गए OpenAttributeTableDump operation में सभी एंट्रियाँ।

LogFile_QuotaO.csv system file $Quota:$O से सभी डिकोड।

LogFile_QuotaQ.csv system file $Quota:$Q से सभी डिकोड।

LogFile_RCRD.csv डिकोड किए गए RCRD records के सभी हेडर।

LogFile_ReparseR.csv system file $Reparse:$R से सभी डिकोड।

LogFile_SecureSDH.csv system file $Secure:$SDH से सभी डिकोड।

LogFile_SecureSII.csv system file $Secure:$SII से सभी डिकोड।

LogFile_SecurityDescriptors.csv डिकोड किए गए security descriptors। स्रोत $SECURITY_DESCRIPTOR या $Secure:$SDS से हो सकता है।

LogFile_SlackAttributeNamesDump.csv slack space में पाए गए डिकोड किए गए AttributeNamesDump ट्रांज़ैक्शन से सभी एंट्रियाँ।

LogFile_SlackOpenAttributeTable.csv slack space में पाए गए डिकोड किए गए OpenAttributeTableDump ट्रांज़ैक्शन से सभी एंट्रियाँ।

LogFile_TransactionTable.csv डिकोड किए गए TransactionTableDump ट्रांज़ैक्शन।

LogFile_Filenames.csv MftRef, MftRefSeqNo और Lsn के साथ सभी हल किए गए filenames।

LogFile_TxfData.csv $LOGGED_UTILITY_STREAM में $DATA:$TXF_DATA से डिकोड किया गया डेटा।

LogFile_UpdateFileName_I30.csv redo और undo operations दोनों के लिए UpdateFileNameRoot और UpdateFileNameAllocation के सभी डिकोड।

LogFile_CompensationlogRecord.csv CompensationlogRecord के सभी डिकोड। nt5.x के लिए प्रासंगिक नहीं।

Ntfs.db उपरोक्त csv's के लगभग समतुल्य तालिकाओं वाली एक sqlite डेटाबेस फ़ाइल। डेटाबेस में 5 तालिकाएँ हैं: DataRuns IndexEntries LogFile LogFileTmp (dataruns को फिर से बनाते समय उपयोग की जाने वाली temp table)। UsnJrnl

Timestamps डिफ़ॉल्ट UTC 0.00 में, और nanosecond परिशुद्धता के साथ प्रस्तुत किए जाते हैं। डिफ़ॉल्ट प्रारूप YYYY-MM-DD HH:MM:SS:MSMSMS:NSNSNSNS है। इन्हें कॉन्फ़िगर किया जा सकता है। विभिन्न timestamps का अर्थ है: CTime का अर्थ है File Create Time। ATime का अर्थ है File Modified Time। MTime का अर्थ है MFT Entry modified Time। RTime का अर्थ है File Last Access Time।

dataruns का पुनर्निर्माण।

filesystem पर कई operations, $LogFile में एक ट्रांज़ैक्शन ट्रिगर करेंगे। $DATA attribute से संबंधित, अर्थात किसी फ़ाइल की सामग्री, अब तक इनके रूप में पहचानी गई हैं;

InitializeFileRecordSegment CreateAttribute UpdateMappingPairs SetNewAttributeSizes