अवलोकन

यह रिपॉज़िटरी Corelight या Zeek लॉग्स को Elastic Common Schema (ECS) नामकरण मानक में बदलने और उन्हें Elastic Stack डिप्लॉयमेंट में संग्रहीत करने के लिए आवश्यक सब कुछ शामिल करती है। मूल रूप से 2019 में रिलीज़ हुई, Elastic Common Schema के उसी वर्ष, यह रिपॉज़िटरी अभी भी सक्रिय रूप से अनुरक्षित और अद्यतन की जाती है।

यह 200 से अधिक विभिन्न लॉग्स और मेट्रिक्स का समर्थन करती है और इस तरह डिज़ाइन की गई है कि यह सभी वातावरणों का समर्थन कर सके, साथ ही प्रत्येक अद्वितीय वातावरण का समर्थन करने के लिए आवश्यक और वांछित विकल्पों को अनुकूलित करने में सक्षम हो।
सभी वातावरणों में समर्थन सुनिश्चित करने के लिए महत्वपूर्ण प्रयास किया गया है, साथ ही प्रत्येक अद्वितीय और संबंधित डिप्लॉयमेंट के अनुरूप आवश्यक और वांछित विकल्पों के अनुकूलन की अनुमति भी दी गई है।

यह रिपॉज़िटरी मुख्य रूप से दो चीज़ों से बनी है:

1. Elasticsearch इंडेक्स टेम्पलेट्स, कंपोनेंट टेम्पलेट्स, ILM नीतियाँ, सेटिंग्स और मैपिंग्स
2. इस रिपॉज़िटरी और संबंधित Ingest Pipelines या Logstash Pipelines के लिए इंस्टॉलर स्क्रिप्ट

लाइसेंस

फ़ाइलें और स्वचालन स्क्रिप्ट BSD लाइसेंस के अंतर्गत ओपन-सोर्स हैं। विवरण के लिए COPYING देखें।

इंस्टॉल के चरण

कृपया स्क्रिप्ट चलाने से पहले सभी अनुभाग पढ़ें।

1. आवश्यकताएँ
2. अनुकूलन
3. इंस्टॉल
4. इंस्टॉल के बाद

1. आवश्यकताएँ

• इस रिपॉज़िटरी से corelight_ecs.py स्क्रिप्ट का उपयोग करना। टेम्पलेट्स और पाइपलाइनों को मैन्युअल रूप से इंस्टॉल करना समर्थित नहीं है क्योंकि फ़ाइलों में सैकड़ों वेरिएबल होते हैं जिन्हें स्क्रिप्ट द्वारा प्रतिस्थापित किया जाता है।
• Python 3.6 और उच्चतर
• Elasticsearch संस्करण 8.x और उच्चतर
• यदि Logstash का उपयोग कर रहे हैं, तो Logstash संस्करण 8.x और उच्चतर या यदि अभी भी संस्करण 7.x पर हैं तो 7.17 और उच्चतर
• Elasticsearch Datastream इंडेक्सिंग रणनीति

2. अनुकूलन

इंडेक्स सेटिंग्स, मैपिंग्स, एलियासेस और ILM नीतियों को अनुकूलित करना प्रोत्साहित किया जाता है। इसलिए, स्क्रिप्ट कई प्रकार के अनुकूलन का समर्थन करने के लिए डिज़ाइन की गई है (नीचे विस्तार से दिया गया है)।
कई अनुकूलन की आवश्यकता नहीं होगी, लेकिन विकल्प होना बेहतर है। शार्ड्स/रीप्लिका और ILM नीति की अपनी संख्या का उपयोग करने की हमेशा अनुशंसा की जाती है, लेकिन उससे परे आपको अधिक अनुकूलन करने की आवश्यकता नहीं होनी चाहिए। हालाँकि यदि आप सामान्य रूप से अपने सभी डिप्लॉयमेंट में इंडेक्स टेम्पलेट्स, इनजेस्ट पाइपलाइनों और logstash पाइपलाइनों में कई चीज़ों को अनुकूलित करते हैं, तो आपके पास अभी भी क्षमता होगी।

• कस्टम इंडेक्स नाम
  स्क्रिप्ट आपसे इसके लिए पूछेगी और किसी भी टेम्पलेट, logstash पाइपलाइनों और/या ingest पाइपलाइनों को स्वचालित रूप से अपडेट करेगी जिन्हें अपडेट करने की आवश्यकता है।
• इंडेक्स सेटिंग्स
  • शार्ड्स की संख्या
  • रीप्लिका की संख्या
  • अन्य इंडेक्स सेटिंग्स को ओवरराइड करें
  • सेटिंग्स भाग के लिए कंपोनेंट टेम्पलेट में जो कुछ भी आप उचित समझें
• इंडेक्स मैपिंग्स
  • Elasticsearch इंडेक्स फ़ील्ड मैपिंग ओवरराइड करें
  • मैपिंग्स भाग के लिए कंपोनेंट टेम्पलेट में जो कुछ भी आप उचित समझें
• ILM नीतियाँ
  • कस्टम ILM नीति
• इंडेक्स एलियासेस
  • इंडेक्स पैटर्न के लिए एलियासेस, जैसे कि पिछड़े संगतता के लिए या इसे अक्षम करने के लिए
• कस्टम इनजेस्ट पाइपलाइनें
  • किसी भी Corelight इनजेस्ट पाइपलाइन को कॉल करने से पहले अपनी स्वयं की कस्टम इनजेस्ट पाइपलाइन को कॉल करने की क्षमता, और Corelight इनजेस्ट पाइपलाइनों में बिल्कुल भी बदलाव किए बिना
  • सभी Corelight इनजेस्ट पाइपलाइनों को कॉल करने के बाद अपनी स्वयं की कस्टम इनजेस्ट पाइपलाइन को कॉल करने की क्षमता, और Corelight इनजेस्ट पाइपलाइनों में बिल्कुल भी बदलाव किए बिना
• कस्टम logstash पाइपलाइनें केवल कम अल्फ़ान्यूमेरिक क्रम वाली फ़ाइल बनाने और उसी निर्देशिका में लोड करने का मामला है

अधिक विवरण के लिए नीचे प्रत्येक अनुभाग देखें।

कस्टम इंडेक्स विकल्प

कस्टम इंडेक्स नाम

यदि आप अपने डेटा स्ट्रीम के लिए कस्टम इंडेक्स नाम/पैटर्न चुनना चाहते हैं तो स्क्रिप्ट आपसे पूछेगी। यह आपको अपनी स्वयं की इंडेक्स नामकरण परंपरा चुनने की अनुमति देता है। उदाहरण के लिए आप चुन सकते हैं:

• logs-corelight.conn-default
• ecs-corelight.conn-default
• call_it_what_you_will.conn-default
• logs-corelight.conn-remotesite1

इसके बाद यह सभी आवश्यक इंडेक्स टेम्पलेट्स को भी अपडेट करेगी, यदि आपने ingest पाइपलाइनों या logstash पाइपलाइनों को चुना है। डिफ़ॉल्ट बदलने की अनुशंसा नहीं की जाती है, क्योंकि Corelight लॉग अब ECS डेटा के अन्य सभी प्रकारों के साथ काम करने और logs-* जैसे Kibana डेटा दृश्य के भीतर से उपयोग किए जाने के लिए सेट हैं।

मल्टी-टेनेंट वातावरण जैसे MSSPs/CSSPs या विभिन्न नेटवर्कों के लिए, आप स्क्रिप्ट प्रॉम्प्ट में डेटा स्ट्रीम का संगठन भाग चुन सकते हैं (जो ऊपर 3 उदाहरणों में default भाग है), हालाँकि यदि आप filebeat में data_stream.namespace सेट करते हैं या किसी अन्य विधि से या पाइपलाइनों को हुक करते हैं, तो पाइपलाइनें यह सम्मान करने के लिए सेट हैं कि यदि वह वेरिएबल पहले से सेट है तो उसे ओवरराइड न करें। बस सुनिश्चित करें कि आपका namespace ऐसे मान पर सेट है जिसे Elasticsearch इंडेक्स नाम के लिए अनुमति देता है (सामान्य गलती जो कभी-कभी स्पष्ट नहीं होती है)।

आप Google Sheet में उपयोग किए जाने वाले इंडेक्स पैटर्न और प्रत्येक लॉग के लिए डिफ़ॉल्ट देख सकते हैं। साथ ही, प्रत्येक लॉग के लिए event.category, event.kind, आदि जैसी कुछ अतिरिक्त जानकारी भी सूचीबद्ध करता है।

कस्टम इंडेक्स सेटिंग्स जैसे: शार्ड्स और रीप्लिका

प्रत्येक इंडेक्स टेम्पलेट को एक कंपोनेंट टेम्पलेट को कॉल करने के लिए निर्दिष्ट किया गया है जिसका उपयोग आप इंडेक्स सेटिंग्स को ओवरराइड करने के लिए कर सकते हैं। इसलिए अपनी स्वयं की इंडेक्स सेटिंग्स का उपयोग करने के लिए आपको रिपॉज़िटरी इंडेक्स टेम्पलेट्स को संशोधित करने की आवश्यकता नहीं है।

निम्नलिखित कंपोनेंट टेम्पलेट्स बनाएं या इंस्टॉल के बाद उन्हें संशोधित करें। जिन कंपोनेंट टेम्पलेट्स को आप संशोधित कर सकते हैं उनके नाम हैं:

सभी लॉग्स को कवर करने के लिए (5 श्रेणियों में विभाजित):

• corelight-ecs-component-metric_log-base-settings@custom
• corelight-ecs-component-parse_failures-base-settings@custom
• corelight-ecs-component-protocol_log-base-settings@custom
• corelight-ecs-component-system_log-base-settings@custom
• corelight-ecs-component-unknown_log-base-settings@custom

उपरोक्त के अलावा व्यक्तिगत लॉग्स को कवर करने के लिए, जिन्हें अक्सर अपनी स्वयं की सेटिंग्स की और अधिक विशिष्ट आवश्यकता होती है:

• corelight-ecs-component-protocol_log-conn-base-settings@custom
• corelight-ecs-component-protocol_log-dns-base-settings@custom
• corelight-ecs-component-protocol_log-files-base-settings@custom
• corelight-ecs-component-protocol_log-http-base-settings@custom
• corelight-ecs-component-protocol_log-smb-base-settings@custom
• corelight-ecs-component-protocol_log-smtp-base-settings@custom
• corelight-ecs-component-protocol_log-ssl-base-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-base-settings@custom
• corelight-ecs-component-protocol_log-syslog-base-settings@custom
• corelight-ecs-component-protocol_log-various-base-settings@custom

इंडेक्स मैपिंग्स को अनुकूलित करना जैसे: फ़ील्ड्स

प्रत्येक इंडेक्स टेम्पलेट को एक कंपोनेंट टेम्पलेट को कॉल करने के लिए निर्दिष्ट किया गया है जिसका उपयोग आप फ़ील्ड प्रकारों या नामों जैसी चीज़ों के लिए इंडेक्स मैपिंग्स को ओवरराइड करने के लिए कर सकते हैं। इसलिए अपनी स्वयं की इंडेक्स मैपिंग्स का उपयोग करने के लिए आपको रिपॉज़िटरी इंडेक्स टेम्पलेट्स को संशोधित करने की आवश्यकता नहीं है।

निम्नलिखित कंपोनेंट टेम्पलेट्स बनाएं या इंस्टॉल के बाद उन्हें संशोधित करें। जिन कंपोनेंट टेम्पलेट्स को आप संशोधित कर सकते हैं उनके नाम हैं:

सभी लॉग्स को कवर करने के लिए (5 श्रेणियों में विभाजित):

• corelight-ecs-component-metric_log-mappings@custom
• corelight-ecs-component-parse_failures-mappings@custom
• corelight-ecs-component-protocol_log-mappings@custom
• corelight-ecs-component-system_log-mappings@custom
• corelight-ecs-component-unknown_log-mappings@custom

उपरोक्त के अलावा व्यक्तिगत लॉग्स को कवर करने के लिए, जिन्हें अक्सर अपनी स्वयं की सेटिंग्स की और अधिक विशिष्ट आवश्यकता होती है:

• corelight-ecs-component-protocol_log-conn-mappings@custom
• corelight-ecs-component-protocol_log-dns-mappings@custom
• corelight-ecs-component-protocol_log-files-mappings@custom
• corelight-ecs-component-protocol_log-http-mappings@custom
• corelight-ecs-component-protocol_log-smb-mappings@custom
• corelight-ecs-component-protocol_log-smtp-mappings@custom
• corelight-ecs-component-protocol_log-ssl-mappings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-mappings@custom
• corelight-ecs-component-protocol_log-syslog-mappings@custom
• corelight-ecs-component-protocol_log-various-mappings@custom

कस्टम ILM नीति रणनीति

प्रत्येक इंडेक्स टेम्पलेट को एक कंपोनेंट टेम्पलेट को कॉल करने के लिए निर्दिष्ट किया गया है जिसका उपयोग आप अपनी स्वयं की अवधारण अवधि निर्धारित करने के लिए ILM नीति को ओवरराइड करने के लिए कर सकते हैं। इसलिए अपनी स्वयं की ILM नीति का उपयोग करने के लिए आपको रिपॉज़िटरी इंडेक्स टेम्पलेट्स को संशोधित करने की आवश्यकता नहीं है।

निम्नलिखित कंपोनेंट टेम्पलेट्स बनाएं या इंस्टॉल के बाद उन्हें संशोधित करें। जिन कंपोनेंट टेम्पलेट्स को आप संशोधित कर सकते हैं उनके नाम हैं:

सभी लॉग्स को कवर करने के लिए (5 श्रेणियों में विभाजित):

• corelight-ecs-component-metric_log-ilm-settings@custom
• corelight-ecs-component-parse_failures-ilm-settings@custom
• corelight-ecs-component-protocol_log-ilm-settings@custom
• corelight-ecs-component-system_log-ilm-settings@custom
• corelight-ecs-component-unknown_log-ilm-settings@custom

ये उपरोक्त के अलावा व्यक्तिगत लॉग्स को कवर करेंगे, जिन्हें अक्सर अपनी स्वयं की सेटिंग्स की और अधिक विशिष्ट आवश्यकता होती है:

• corelight-ecs-component-protocol_log-conn-ilm-settings@custom
• corelight-ecs-component-protocol_log-dns-ilm-settings@custom
• corelight-ecs-component-protocol_log-files-ilm-settings@custom
• corelight-ecs-component-protocol_log-http-ilm-settings@custom
• corelight-ecs-component-protocol_log-smb-ilm-settings@custom
• corelight-ecs-component-protocol_log-smtp-ilm-settings@custom
• corelight-ecs-component-protocol_log-ssl-ilm-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-ilm-settings@custom
• corelight-ecs-component-protocol_log-syslog-ilm-settings@custom
• corelight-ecs-component-protocol_log-various-ilm-settings@custom

कस्टम इंडेक्स एलियासेस

प्रत्येक इंडेक्स टेम्पलेट को एक कंपोनेंट टेम्पलेट को कॉल करने के लिए निर्दिष्ट किया गया है जिसका उपयोग आप इंडेक्स एलियासेस को ओवरराइड करने के लिए कर सकते हैं। इसलिए अपनी स्वयं की ILM एलियासेस का उपयोग करने के लिए आपको रिपॉज़िटरी इंडेक्स टेम्पलेट्स को संशोधित करने की आवश्यकता नहीं है।

निम्नलिखित कंपोनेंट टेम्पलेट्स बनाएं या इंस्टॉल के बाद उन्हें संशोधित करें। जिन कंपोनेंट टेम्पलेट्स को आप संशोधित कर सकते हैं उनके नाम हैं:

सभी लॉग्स को कवर करने के लिए (5 श्रेणियों में विभाजित):

• corelight-ecs-component-metric_log-aliases@custom
• corelight-ecs-component-parse_failures-aliases@custom
• corelight-ecs-component-protocol_log-aliases@custom
• corelight-ecs-component-system_log-aliases@custom
• corelight-ecs-component-unknown_log-aliases@custom

ये उपरोक्त के अलावा व्यक्तिगत लॉग्स को कवर करेंगे, जिन्हें अक्सर अपनी स्वयं की सेटिंग्स की और अधिक विशिष्ट आवश्यकता होती है:

• corelight-ecs-component-protocol_log-conn-aliases@custom
• corelight-ecs-component-protocol_log-dns-aliases@custom
• corelight-ecs-component-protocol_log-files-aliases@custom
• corelight-ecs-component-protocol_log-http-aliases@custom
• corelight-ecs-component-protocol_log-smb-aliases@custom
• corelight-ecs-component-protocol_log-smtp-aliases@custom
• corelight-ecs-component-protocol_log-ssl-aliases@custom
• corelight-ecs-component-protocol_log-suricata_corelight-aliases@custom
• corelight-ecs-component-protocol_log-syslog-aliases@custom
• corelight-ecs-component-protocol_log-various-aliases@custom

कस्टम इनजेस्ट पाइपलाइनें

कस्टम प्रारंभिक इनजेस्ट पाइपलाइन कैच-ऑल

इनजेस्ट पाइपलाइनों की शुरुआत में, किसी भी Corelight पाइपलाइन को कॉल करने से पहले, corelight-ecs-main-pipeline@custom नामक इनजेस्ट पाइपलाइन का उपयोग करने का एक फ़ंक्शन होता है। यदि Corelight पाइपलाइनों को कॉल करने से पहले आप कुछ करना चाहते हैं तो आप उस नाम से एक इनजेस्ट पाइपलाइन बना सकते हैं। यदि आप पाइपलाइन नहीं बनाते हैं तो फ़ंक्शन इसे चुपचाप पास कर देता है, इसलिए यह वैकल्पिक है।

कस्टम अंतिम इनजेस्ट पाइपलाइन कैच-ऑल

इनजेस्ट पाइपलाइनों के अंत में, सभी Corelight पाइपलाइनों को कॉल करने के बाद, corelight-ecs-postprocess-final-main-pipeline@custom नामक इनजेस्ट पाइपलाइन का उपयोग करने का एक फ़ंक्शन होता है। यदि Corelight पाइपलाइनों को कॉल करने से पहले आप कुछ करना चाहते हैं तो आप उस नाम से एक इनजेस्ट पाइपलाइन बना सकते हैं। यदि आप पाइपलाइन नहीं बनाते हैं तो फ़ंक्शन इसे चुपचाप पास कर देता है, इसलिए यह वैकल्पिक है।

कस्टम प्रारंभिक इनजेस्ट पाइपलाइन पार्स विफलता कैच-ऑल

इनजेस्ट पाइपलाइन विफलताओं के लिए इनजेस्ट पाइपलाइनों के on_failure कैच-ऑल की शुरुआत में, किसी भी Corelight पाइपलाइन को कॉल करने से पहले, corelight-ecs-parse_failures-pipeline@custom नामक इनजेस्ट पाइपलाइन का उपयोग करने का एक फ़ंक्शन होता है। यदि Corelight पाइपलाइनों को कॉल करने से पहले आप कुछ करना चाहते हैं तो आप उस नाम से एक इनजेस्ट पाइपलाइन बना सकते हैं। यदि आप पाइपलाइन नहीं बनाते हैं तो फ़ंक्शन इसे चुपचाप पास कर देता है, इसलिए यह वैकल्पिक है।

कस्टम अंतिम इनजेस्ट पाइपलाइन पार्स विफलता कैच-ऑल

इनजेस्ट पाइपलाइनों के अंत में, सभी Corelight पाइपलाइनों को कॉल करने के बाद, corelight-ecs-postprocess-final-main-pipeline@custom नामक इनजेस्ट पाइपलाइन का उपयोग करने का एक फ़ंक्शन होता है। यदि Corelight पाइपलाइनों को कॉल करने से पहले आप कुछ करना चाहते हैं तो आप उस नाम से एक इनजेस्ट पाइपलाइन बना सकते हैं। यदि आप पाइपलाइन नहीं बनाते हैं तो फ़ंक्शन इसे चुपचाप पास कर देता है, इसलिए यह वैकल्पिक है।

3. इंस्टॉल

स्क्रिप्ट उपयोग

git clone https://github.com/corelight/ecs-templates
cd ecs-templates
python3 corelight_ecs.py

स्क्रिप्ट तर्क

• --no-color: लॉगिंग के लिए रंग अक्षम करें।
• --debug: डीबग स्तर लॉगिंग सक्षम करें।
• --es-default-timeout=10: elasticsearch से कनेक्शन की प्रतीक्षा के लिए डिफ़ॉल्ट टाइमआउट बदलें।
• --es-default-retry=2: elasticsearch से कनेक्शन को पुनः प्रयास करने की डिफ़ॉल्ट संख्या बदलें।
• --git-repository=corelight: elasticsearch से कनेक्शन को पुनः प्रयास करने की डिफ़ॉल्ट संख्या बदलें।
• --git-branch=main: elasticsearch से कनेक्शन को पुनः प्रयास करने की डिफ़ॉल्ट संख्या बदलें।

4. इंस्टॉल के बाद

Logstash

कुछ मानों को आपके वातावरण के अनुरूप बनाने के लिए इंस्टॉल के बाद बदलने की आवश्यकता हो सकती है। इसमें elasticsearch कनेक्शन के लिए एक कस्टम प्रमाणपत्र प्राधिकरण, kafka के लिए विभिन्न टॉपिक्स, आदि जैसी चीज़ें शामिल होंगी। क्योंकि elasticsearch आउटपुट में 20 से अधिक विकल्प हैं और 5 अलग-अलग इनपुटों में 60 से अधिक विकल्प हैं, इंस्टॉलर उन सभी को प्रदान, संकेत और मान्यता नहीं देता है। हालाँकि, आपकी मदद के लिए, स्क्रिप्ट आपको बताएगी कि किन फ़ाइलों को संशोधित करना है। साथ ही, उन लोगों के लिए जो सभी चीज़ों का पूर्ण स्वचालन उपयोग करते हैं, एक उदाहरण स्क्रिप्ट प्रदान की गई है ताकि यह दिखाया जा सके कि इंस्टॉल के बाद फ़ाइलों में मानों को बदलने और उपयोग किए जाने वाले वेरिएबलों के लिए लाइनों को एक साथ अनकमेंट करने की प्रक्रिया को स्वचालित करना संभव है।

अपने टेम्पलेट्स को अनुकूलित करें

अधिक विवरण के लिए अनुकूलन अनुभाग देखें।

Corelight सेंसर सेटअप - Elastic Exporter

• केवल ingest पाइपलाइनों तक पहुँचने के लिए एक इंडेक्स पैटर्न का उपयोग करने के लिए, जैसे corelight उपकरण या परीक्षण के लिए। उपसर्ग को temporary_corelight_routing_index पर सेट करें
• सिस्टम इंडेक्स अक्षम करें
• डेटा स्ट्रीम सक्षम करें - संस्करण के आधार पर यह exporter में एक चेक बॉक्स होगा या Advance Configuration में आप bro.export.elasticsearch.use_data_streams सक्षम कर सकते हैं

परिवर्तन लॉग WIP

रिपॉज़िटरी के पूर्ण परिवर्तन लॉग के लिए फ़ाइल changelog.md देखें।

करने योग्य कार्य सूची WIP

रिपॉज़िटरी के लिए करने योग्य कार्यों की पूरी सूची के लिए फ़ाइल todo.md देखें।

संस्करणकरण

इस रिपॉज़िटरी का संस्करणकरण Elastic Common Schema (ECS) के उस संस्करण पर आधारित है जिसका यह समर्थन करता है। प्रत्येक लॉग में फ़ील्ड्स जोड़े जाते हैं:

• labels.corelight.ecs_version
• labels.corelight.ecs_method
• labels.corelight.ecs_method_version

Github रिपॉज़िटरी परिभाषाएँ

Elasticsearch टेम्पलेट्स (यह रिपॉज़िटरी)

https://github.com/corelight/ecs-templates

• Elasticsearch इंडेक्स टेम्पलेट्स, कंपोनेंट टेम्पलेट्स, ILM नीतियाँ, सेटिंग्स और मैपिंग्स
• इंस्टॉल स्क्रिप्ट

Logstash पाइपलाइनें

https://github.com/corelight/ecs-logstash-mappings

• Logstash पाइपलाइन कॉन्फ़िगरेशन

इनजेस्ट पाइपलाइनें

https://github.com/corelight/ecs-mapping

• इनजेस्ट पाइपलाइन कॉन्फ़िगरेशन

Kibana डैशबोर्ड और विज़ुअलाइज़ेशन

https://github.com/corelight/ecs-dashboards

Kibana सुरक्षा नियम और अलर्ट

https://github.com/corelight/Elasticsearch_rules