EVTX, Auditd, Linux के लिए Sysmon, XML, CSV, या JSONL/NDJSON लॉग्स हेतु स्टैंडअलोन SIGMA-आधारित डिटेक्शन टूल

Zircolite Python 3 में लिखा गया एक स्टैंडअलोन टूल है जो आपको SIGMA नियमों का उपयोग करने की अनुमति देता है:

• MS Windows EVTX (EVTX, XML, और JSONL प्रारूप)
• Auditd लॉग्स
• Linux के लिए Sysmon
• EVTXtract
• CSV और XML लॉग्स
• JSON Array लॉग्स

मुख्य विशेषताएँ

• स्वचालित लॉग प्रकार पहचान: मैजिक बाइट्स, सामग्री विश्लेषण और regex-आधारित फ़ॉलबैक का उपयोग करके लॉग प्रारूपों और टाइमस्टैम्प फ़ील्ड्स को स्वचालित रूप से पहचानता है -- अधिकांश मामलों में प्रारूप फ़्लैग निर्दिष्ट करने की आवश्यकता नहीं होती।
• एकाधिक इनपुट प्रारूप: EVTX, JSON Lines, JSON Arrays, CSV, XML और अन्य सहित विभिन्न लॉग प्रारूपों का समर्थन करता है। संपीड़ित या संग्रहीत लॉग (gzip, bzip2, ZIP, 7-Zip) समर्थित हैं; एन्क्रिप्टेड ZIP/7z के लिए --archive-password का उपयोग करें।
• नेटिव Sigma समर्थन: Zircolite उन्हें pySigma के साथ परिवर्तित करके नेटिव Sigma नियमों (YAML) का सीधे उपयोग कर सकता है।
• SIGMA बैकएंड: यह SIGMA बैकएंड (SQLite) पर आधारित है और आंतरिक SIGMA-से-कुछ रूपांतरण का उपयोग नहीं करता है।
• उन्नत लॉग मैनिपुलेशन: यह फ़ील्ड्स को विभाजित करके और परिवर्तन लागू करके इनपुट लॉग्स में हेरफेर कर सकता है, जिससे अधिक लचीला और शक्तिशाली लॉग विश्लेषण संभव होता है।
• फ़ील्ड ट्रांसफ़ॉर्म: प्रोसेसिंग के दौरान फ़ील्ड्स पर कस्टम Python परिवर्तन लागू करें (जैसे, Base64 डिकोडिंग, हेक्स-से-ASCII रूपांतरण)।
• लचीला निर्यात: Zircolite Jinja टेम्पलेट्स का उपयोग करके परिणामों को कई प्रारूपों में निर्यात कर सकता है, जिसमें JSON, CSV, JSONL, Splunk, Elastic, OpenSearch, Timesketch, SARIF, ATT&CK Navigator और अन्य शामिल हैं।
• समृद्ध टर्मिनल आउटपुट: पहचान के परिणाम MITRE ATT&CK तकनीक आईडी, ATT&CK रणनीति हीटमैप, नियम कवरेज मेट्रिक्स और क्लिक करने योग्य आउटपुट फ़ाइल लिंक के साथ गंभीरता-क्रमबद्ध तालिकाओं में प्रदर्शित होते हैं।

आप Zircolite को सीधे Python के साथ उपयोग कर सकते हैं।

दस्तावेज़ीकरण यहाँ (समर्पित साइट) या यहाँ (रिपॉजिटरी निर्देशिका) उपलब्ध है।

आवश्यकताएँ / इंस्टॉलेशन

प्रोजेक्ट का परीक्षण Python 3.10 और उससे ऊपर के संस्करणों के साथ किया गया है। निर्भरताएँ इंस्टॉल करें: pip3 install -r requirements.txt।

निर्भरताएँ

• आवश्यक: orjson, xxhash, rich, rich-argparse, RestrictedPython, requests, urllib3, pySigma, evtx (pyevtx-rs), jinja2, lxml, chardet, psutil, pyyaml, py7zr
• py7zr केवल तब आयात किया जाता है जब इनपुट खोला जाता है; ZIP, gzip और bzip2 मानक लाइब्रेरी का उपयोग करते हैं।

⚠️ कुछ सिस्टम (Mac, ARM, आदि) पर, evtx Python लाइब्रेरी के लिए Rust और Cargo इंस्टॉल होना आवश्यक हो सकता है।

त्वरित प्रारंभ

दूसरों द्वारा बनाए गए (पुराने) ट्यूटोरियल (EN, ES, और FR) यहाँ देखें।

EVTX फ़ाइलें

सहायता निम्न के साथ उपलब्ध है:

python3 zircolite.py -h

यदि आपकी EVTX फ़ाइलों का एक्सटेंशन ".evtx" है:

# python3 zircolite.py --evtx <EVTX FOLDER or EVTX FILE> --ruleset <SIGMA RULESET> [--ruleset <OTHER RULESET>]
python3 zircolite.py --evtx sysmon.evtx --ruleset rules/rules_windows_merged.json

नेटिव Sigma नियम (YAML) का उपयोग करना

आप नेटिव Sigma नियमों (YAML) को सीधे उपयोग कर सकते हैं:

# Single YAML rule
python3 zircolite.py --evtx sample.evtx --ruleset path/to/rule.yml

# Directory of Sigma rules
python3 zircolite.py --evtx sample.evtx --ruleset ./sigma/rules/windows/process_creation

# With pySigma pipelines
python3 zircolite.py --evtx sample.evtx --ruleset rule.yml --pipeline sysmon --pipeline windows-logsources

अन्य लॉग प्रारूप

Zircolite अधिकांश मामलों में लॉग प्रारूप का स्वतः पता लगाता है, इसलिए स्पष्ट प्रारूप फ़्लैग वैकल्पिक हैं:

# Auto-detection (recommended) - Zircolite identifies the format automatically
python3 zircolite.py --events auditd.log --ruleset rules/rules_linux.json
python3 zircolite.py --events sysmon.log --ruleset rules/rules_linux.json
python3 zircolite.py --events <JSON_FOLDER_OR_FILE> --ruleset rules/rules_windows_merged.json

# Explicit format flags (override auto-detection)
python3 zircolite.py --events auditd.log --ruleset rules/rules_linux.json --auditd
python3 zircolite.py --events sysmon.log --ruleset rules/rules_linux.json --sysmon4linux
python3 zircolite.py --events <JSON_FOLDER_OR_FILE> --ruleset rules/rules_windows_merged.json --jsononly
python3 zircolite.py --events <JSON_FOLDER_OR_FILE> --ruleset rules/rules_windows_merged.json --json-array
python3 zircolite.py --events <CSV_FOLDER_OR_FILE> --ruleset rules/rules_windows_merged.json --csv-input
python3 zircolite.py --events <XML_FOLDER_OR_FILE> --ruleset rules/rules_windows_merged.json --xml-input

• --events तर्क एक फ़ाइल या फ़ोल्डर हो सकता है। यदि यह एक फ़ोल्डर है, तो वर्तमान फ़ोल्डर और उपफ़ोल्डर्स की सभी लॉग फ़ाइलें चयनित की जाएँगी (अक्षम करने के लिए --no-recursion का उपयोग करें)।
• फ़ाइल चयन के लिए कस्टम glob पैटर्न निर्दिष्ट करने हेतु --file-pattern का उपयोग करें।
• स्वचालित प्रारूप पहचान अक्षम करने के लिए --no-auto-detect का उपयोग करें।

[!TIP] यदि आप टूल आज़माना चाहते हैं, तो आप EVTX-ATTACK-SAMPLES (EVTX फ़ाइलें) के साथ परीक्षण कर सकते हैं।

Docker के साथ चलाना

# Pull the Docker image
docker pull wagga40/zircolite:latest
# If your logs and rules are in a specific directory
docker run --rm --tty \
    -v $PWD:/case/input:ro \
    -v $PWD:/case/output \
    wagga40/zircolite:latest \
    -e /case/input \
    -o /case/output/detected_events.json \
    -r /case/input/a_sigma_rule.yml

• अपनी लॉग्स और नियम/रूलसेट जहाँ संग्रहीत हैं, उस निर्देशिका (केवल निरपेक्ष पथ) से $PWD बदलें।

स्वचालित प्रोसेसिंग अनुकूलन

कई फ़ाइलें दिए जाने पर, Zircolite उन्हें उपलब्ध RAM और CPU के विरुद्ध मापता है, एक डेटाबेस मोड (एक साझा डेटाबेस, या प्रति फ़ाइल एक) चुनता है, और यह तय करता है कि क्या उन्हें समानांतर में संसाधित करना उचित है — फिर चलते समय मेमोरी दबाव के अनुसार वर्करों की संख्या को अनुकूलित करता है।

python3 zircolite.py --evtx ./logs/ --ruleset rules/rules_windows_merged.json

इनमें से किसी को भी --no-auto-mode, --unified-db (सभी फ़ाइलों के लिए एक डेटाबेस, जो क्रॉस-फ़ाइल सहसंबंध नियमों के लिए आवश्यक है), --no-parallel या --parallel-workers N के साथ ओवरराइड करें। यह विकल्प कैसे चुना जाता है, इसके लिए स्वचालित प्रोसेसिंग अनुकूलन देखें।

YAML कॉन्फ़िगरेशन फ़ाइलों का उपयोग करना

जटिल या बार-बार होने वाले विश्लेषण वर्कफ़्लो के लिए, YAML कॉन्फ़िगरेशन फ़ाइल का उपयोग करें:

# Generate a fully commented configuration file
python3 zircolite.py --generate-config my_config.yaml

# Run with it
python3 zircolite.py --yaml-config my_config.yaml

# CLI arguments override the file
python3 zircolite.py --yaml-config my_config.yaml --evtx ./other_logs/

जनरेट की गई फ़ाइल प्रत्येक समर्थित कुंजी का दस्तावेज़ीकरण करती है; config/zircolite_example.yaml एक कार्यशील उदाहरण है। मर्ज नियमों और उन विकल्पों के लिए YAML कॉन्फ़िगरेशन देखें जिनका कोई YAML समकक्ष नहीं है।

डिफ़ॉल्ट रूलसेट अपडेट करना

python3 zircolite.py -U

वैकल्पिक रूप से, यदि आप Task (go-task) का उपयोग करते हैं, तो Zircolite-Rules-v2 से नियमों को अपडेट करने के लिए प्रोजेक्ट रूट से task update-rules चलाएँ। अन्य कार्यों (Docker build, clean, आदि) के लिए docs देखें।

[!IMPORTANT]
कृपया ध्यान दें कि ये रूलसेट Zircolite को तुरंत उपयोग करने के लिए प्रदान किए गए हैं, लेकिन आपको अपने स्वयं के रूलसेट बनाने चाहिए क्योंकि वे शोरगुल या धीमे हो सकते हैं। ये स्वतः-अपडेट होने वाले रूलसेट समर्पित रिपॉजिटरी में उपलब्ध हैं: Zircolite-Rules-v2।

फ़ील्ड स्प्लिटिंग और ट्रांसफ़ॉर्म

दो कॉन्फ़िगरेशन विशेषताएँ, दोनों config/config.yaml में, इवेंट्स को इन्जेस्ट करते समय आकार देती हैं:

• फ़ील्ड स्प्लिटिंग एक पैक्ड की-वैल्यू फ़ील्ड को क्वेरी करने योग्य फ़ील्ड्स में बदल देती है। Sysmon का Hashes फ़ील्ड (SHA1=abc123,MD5=def456,SHA256=789xyz) अलग SHA1, MD5 और SHA256 फ़ील्ड्स बन जाता है, जिससे नियम सीधे हैश से मेल खा सकते हैं।
• फ़ील्ड ट्रांसफ़ॉर्म फ़ील्ड के मान पर सैंडबॉक्स किया हुआ Python चलाते हैं — base64 कमांड लाइनों को डिकोड करना, IOC निकालना, LOLBins को फ़्लैग करना — और परिणाम को मूल फ़ील्ड को बदलने के बजाय नई फ़ील्ड में लिख सकते हैं। Zircolite 11 श्रेणियों में उनमें से 55 शामिल करता है, जो डिफ़ॉल्ट रूप से बंद हैं, दो auditd वालों को छोड़कर।

split:
  Hashes:
    separator: ","
    equal: "="

पूर्ण कॉन्फ़िगरेशन, Zircolite द्वारा शामिल ट्रांसफ़ॉर्म और अपने स्वयं के ट्रांसफ़ॉर्म का परीक्षण कैसे करें, इसके लिए फ़ील्ड स्प्लिटिंग और फ़ील्ड ट्रांसफ़ॉर्म देखें।

दस्तावेज़ीकरण

संपूर्ण दस्तावेज़ीकरण यहाँ उपलब्ध है।

Mini-GUI

Mini-GUI का उपयोग पूरी तरह से ऑफ़लाइन किया जा सकता है। यह आपको परिणाम प्रदर्शित करने और खोजने की अनुमति देता है। आप --package विकल्प के साथ स्वचालित रूप से एक Mini-GUI "पैकेज" जनरेट कर सकते हैं। आउटपुट निर्देशिका निर्दिष्ट करने के लिए --package-dir का उपयोग करें। Mini-GUI का उपयोग करना सीखने के लिए, दस्तावेज़ीकरण यहाँ देखें।

MITRE ATT&CK® तकनीकों और गंभीरता स्तरों द्वारा पहचाने गए इवेंट्स

पहचाने गए इवेंट्स की टाइमलाइन

मैट्रिक्स पर प्रदर्शित MITRE ATT&CK® तकनीकों द्वारा पहचाने गए इवेंट्स

ट्यूटोरियल्स, संदर्भ और संबंधित प्रोजेक्ट्स

ट्यूटोरियल्स

• अंग्रेज़ी: Russ McRee ने अपने ब्लॉग पर SIGMA और Zircolite पर एक विस्तृत ट्यूटोरियल प्रकाशित किया है।

• स्पेनिश: César Marín ने स्पेनिश में एक ट्यूटोरियल यहाँ प्रकाशित किया है।

• फ्रेंच: IT-connect.fr ने फ्रेंच में Zircolite पर एक विस्तृत ट्यूटोरियल प्रकाशित किया है।

• फ्रेंच: IT-connect.fr ने Zircolite का उपयोग करते हुए एक Hack the Box चैलेंज राइट-अप भी प्रकाशित किया है।

संदर्भ

• Florian Roth ने अक्टूबर 2021 EU ATT&CK कार्यशाला में अपने वार्ता के दौरान अपने SIGMA Hall of Fame में Zircolite का उल्लेख किया।
• Zircolite को JSAC 2023 के दौरान उद्धृत और प्रस्तुत किया गया है।
• Zircolite को कई शोध पत्रों में उद्धृत और उपयोग किया गया है:
  • CIDRE Team:
    • PWNJUTSU - वेबसाइट
    • PWNJUTSU - अकादमिक पेपर
    • CERBERE: रेड और ब्लू टीम मनोरंजन के लिए साइबरसुरक्षा अभ्यास, पुनरुत्पादनीयता
  • Universidad de la República:
    • MITRE ATT&CK टैक्सोनॉमी का उपयोग करके हमलावर प्रोफाइलिंग के लिए एक प्रोसेस माइनिंग-आधारित विधि

लाइसेंस

• प्रोजेक्ट का सभी कोड GNU Lesser General Public License के अंतर्गत लाइसेंस प्राप्त है।
• evtx_dump MIT लाइसेंस के अंतर्गत है।
• नियम Detection Rule License (DRL) 1.0 के अंतर्गत जारी किए गए हैं।