نظرة عامة

يحتوي هذا المستودع على كل ما هو ضروري لتحويل سجلات Corelight أو Zeek إلى معيار التسمية Elastic Common Schema (ECS) وتخزينها في نشر Elastic Stack. صدر في الأصل عام 2019، وهو نفس عام إطلاق Elastic Common Schema، ولا يزال هذا المستودع قيد الصيانة والتحديث بنشاط.

وهو يدعم أكثر من 200 سجل ومقياس مختلف وهو مصمم لدعم جميع البيئات مع القدرة في الوقت نفسه على تخصيص الخيارات المطلوبة والمرغوبة لدعم كل بيئة فريدة.
تم استثمار جهد كبير لضمان الدعم عبر جميع البيئات، مع السماح في الوقت نفسه بتخصيص الخيارات الضرورية والمرغوبة لتناسب كل نشر فريد ومعني.

يتكون المستودع بشكل أساسي من شيئين:

1. قوالب فهارس Elasticsearch، والقوالب المكوّنة، وسياسات ilm، والإعدادات، والتعيينات
2. البرنامج النصي للتثبيت لهذا المستودع ومسارات الإدخال المقابلة أو مسارات Logstash

الترخيص

الملفات والبرنامج النصي للأتمتة مفتوحة المصدر بموجب ترخيص BSD. راجع COPYING للحصول على التفاصيل.

خطوات التثبيت

يرجى قراءة جميع الأقسام قبل تشغيل البرنامج النصي.

1. المتطلبات
2. التخصيص
3. التثبيت
4. ما بعد التثبيت

1. المتطلبات

• استخدام البرنامج النصي corelight_ecs.py من هذا المستودع. لا يُدعم تثبيت القوالب وخطوط الأنابيب يدويًا نظرًا لوجود مئات المتغيرات في جميع أنحاء الملفات التي يستبدلها البرنامج النصي.
• Python 3.6 فما أعلى
• Elasticsearch الإصدار 8.x فما أعلى
• إذا كنت تستخدم Logstash، فاستخدم Logstash الإصدار 8.x فما أعلى، أو إذا كنت لا تزال على الإصدار 7.x فاستخدم 7.17 فما أعلى
• استراتيجية فهرسة Datastream الخاصة بـ Elasticsearch

2. التخصيص

يُشجَّع على تخصيص إعدادات الفهرس والتعيينات والأسماء المستعارة وسياسات ILM. لذلك، صُمم البرنامج النصي ليدعم العديد من أنواع التخصيصات (مفصلة أدناه).
لن تحتاج إلى معظم التخصيصات، لكن من الأفضل أن تتوفر لك الخيارات بدلاً من عدم توفرها. يُنصح دائمًا باستخدام عدد القصاصات/النسخ المتماثلة وسياسة ILM الخاصة بك، لكن بعيدًا عن ذلك لن تحتاج إلى تخصيص الكثير. ومع ذلك، إذا كنت عادةً تخصص أشياء كثيرة في قوالب الفهارس وخطوط أنابيب الإدخال ومسارات Logstash في جميع عمليات النشر لديك، فستظل لديك القدرة على ذلك.

• أسماء الفهارس المخصصة
  سيطلب منك البرنامج النصي ذلك ويحدّث تلقائيًا أي قوالب أو مسارات Logstash أو مسارات إدخال تحتاج إلى التحديث
• إعدادات الفهرس
  • عدد القصاصات
  • عدد النسخ المتماثلة
  • تجاوز إعدادات الفهرس الأخرى
  • أي شيء آخر تراه مناسبًا في القالب المكوّن لجزء الإعدادات
• تعيينات الفهرس
  • تجاوز تعيين حقول فهرس Elasticsearch
  • أي شيء آخر تراه مناسبًا في القالب المكوّن لجزء التعيينات
• سياسات ILM
  • سياسة ILM مخصصة
• الأسماء المستعارة للفهارس
  • أسماء مستعارة لأنماط الفهارس، مثل للتوافق مع الإصدارات السابقة أو لتعطيلها
• مسارات الإدخال المخصصة
  • القدرة على استدعاء مسار الإدخال المخصص الخاص بك قبل استدعاء أي من مسارات Corelight للإدخال ودون تعديل مسارات إدخال Corelight إطلاقًا
  • القدرة على استدعاء مسار الإدخال المخصص الخاص بك بعد استدعاء جميع مسارات Corelight للإدخال ودون تعديل مسارات إدخال Corelight إطلاقًا
• مسارات Logstash المخصصة هي مجرد مسألة إنشاء ملف بترتيب أبجدي رقمي أقل وتحميله في نفس الدليل

راجع كل قسم أدناه لمزيد من التفاصيل.

خيارات الفهرس المخصصة

أسماء الفهارس المخصصة

سيطلب منك البرنامج النصي إذا كنت ترغب في اختيار أسماء/أنماط فهارس مخصصة لدفقات البيانات الخاصة بك. هذا يتيح لك اختيار اصطلاح التسمية الخاص بك للفهارس. على سبيل المثال يمكنك اختيار:

• logs-corelight.conn-default
• ecs-corelight.conn-default
• call_it_what_you_will.conn-default
• logs-corelight.conn-remotesite1

بعد ذلك سيحدّث جميع قوالب الفهارس الضرورية وكذلك مسارات الإدخال أو مسارات Logstash إذا اخترتها. لا يُنصح بتغيير القيم الافتراضية، لأن سجلات Corelight أصبحت الآن مهيأة للعمل مع جميع الأنواع الأخرى من بيانات ECS، ولتكون قابلة للاستخدام من داخل طريقة عرض بيانات Kibana مثل logs-*

بالنسبة للبيئات متعددة المستأجرين مثل MSSPs/CSSPs أو الشبكات المختلفة، لا يمكنك فقط اختيار جزء المؤسسة من دفق البيانات في مطالبات البرنامج النصي (وهو الجزء default في الأمثلة الثلاثة أعلاه)، ومع ذلك إذا قمت بتعيين data_stream.namespace في filebeat أو بطريقة أخرى أو ربطت المسارات، فإن المسارات مضبوطة على احترام هذا المتغير إذا كان معينًا بالفعل وعدم تجاوزه. فقط تأكد من أن namespace مضبوط على قيمة تسمح بها Elasticsearch لاسم الفهرس (خطأ شائع لا يكون واضحًا أحيانًا).

يمكنك الاطلاع على أنماط الفهارس المستخدمة في جدول Google والافتراضي لكل سجل. كما يسرد بعض المعلومات الإضافية مثل event.category و event.kind وغيرها لكل سجل.

إعدادات الفهرس المخصصة أي: القصاصات والنسخ المتماثلة

كل قالب فهرس محدد لاستدعاء قالب مكوّن يمكنك استخدامه لتجاوز إعدادات الفهرس. لذلك لا تحتاج إلى تعديل قوالب فهارس المستودع لاستخدام إعدادات الفهرس الخاصة بك.

أنشئ القوالب المكوّنة التالية أو عدّلها بعد التثبيت. أسماء القوالب المكوّنة التي يمكنك تعديلها هي:

لتغطية جميع السجلات (مقسمة إلى 5 فئات):

• corelight-ecs-component-metric_log-base-settings@custom
• corelight-ecs-component-parse_failures-base-settings@custom
• corelight-ecs-component-protocol_log-base-settings@custom
• corelight-ecs-component-system_log-base-settings@custom
• corelight-ecs-component-unknown_log-base-settings@custom

لتغطية السجلات الفردية بما يتجاوز ما سبق، التي تحتاج عادةً إلى إعداداتها الخاصة لتكون أكثر تحديدًا:

• corelight-ecs-component-protocol_log-conn-base-settings@custom
• corelight-ecs-component-protocol_log-dns-base-settings@custom
• corelight-ecs-component-protocol_log-files-base-settings@custom
• corelight-ecs-component-protocol_log-http-base-settings@custom
• corelight-ecs-component-protocol_log-smb-base-settings@custom
• corelight-ecs-component-protocol_log-smtp-base-settings@custom
• corelight-ecs-component-protocol_log-ssl-base-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-base-settings@custom
• corelight-ecs-component-protocol_log-syslog-base-settings@custom
• corelight-ecs-component-protocol_log-various-base-settings@custom

تخصيص تعيينات الفهرس أي: الحقول

كل قالب فهرس محدد لاستدعاء قالب مكوّن يمكنك استخدامه لتجاوز تعيينات الفهرس لأشياء مثل أنواع الحقول أو أسمائها. لذلك لا تحتاج إلى تعديل قوالب فهارس المستودع لاستخدام تعيينات الفهرس الخاصة بك.

أنشئ القوالب المكوّنة التالية أو عدّلها بعد التثبيت. أسماء القوالب المكوّنة التي يمكنك تعديلها هي:

لتغطية جميع السجلات (مقسمة إلى 5 فئات):

• corelight-ecs-component-metric_log-mappings@custom
• corelight-ecs-component-parse_failures-mappings@custom
• corelight-ecs-component-protocol_log-mappings@custom
• corelight-ecs-component-system_log-mappings@custom
• corelight-ecs-component-unknown_log-mappings@custom

لتغطية السجلات الفردية بما يتجاوز ما سبق، التي تحتاج عادةً إلى إعداداتها الخاصة لتكون أكثر تحديدًا:

• corelight-ecs-component-protocol_log-conn-mappings@custom
• corelight-ecs-component-protocol_log-dns-mappings@custom
• corelight-ecs-component-protocol_log-files-mappings@custom
• corelight-ecs-component-protocol_log-http-mappings@custom
• corelight-ecs-component-protocol_log-smb-mappings@custom
• corelight-ecs-component-protocol_log-smtp-mappings@custom
• corelight-ecs-component-protocol_log-ssl-mappings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-mappings@custom
• corelight-ecs-component-protocol_log-syslog-mappings@custom
• corelight-ecs-component-protocol_log-various-mappings@custom

استراتيجية سياسة ILM المخصصة

كل قالب فهرس محدد لاستدعاء قالب مكوّن يمكنك استخدامه لتجاوز سياسة ILM لتحديد مدة الاحتفاظ الخاصة بك. لذلك لا تحتاج إلى تعديل قوالب فهارس المستودع لاستخدام سياسة ILM الخاصة بك.

أنشئ القوالب المكوّنة التالية أو عدّلها بعد التثبيت. أسماء القوالب المكوّنة التي يمكنك تعديلها هي:

لتغطية جميع السجلات (مقسمة إلى 5 فئات):

• corelight-ecs-component-metric_log-ilm-settings@custom
• corelight-ecs-component-parse_failures-ilm-settings@custom
• corelight-ecs-component-protocol_log-ilm-settings@custom
• corelight-ecs-component-system_log-ilm-settings@custom
• corelight-ecs-component-unknown_log-ilm-settings@custom

ستغطي هذه السجلات الفردية بما يتجاوز ما سبق، التي تحتاج عادةً إلى إعداداتها الخاصة لتكون أكثر تحديدًا:

• corelight-ecs-component-protocol_log-conn-ilm-settings@custom
• corelight-ecs-component-protocol_log-dns-ilm-settings@custom
• corelight-ecs-component-protocol_log-files-ilm-settings@custom
• corelight-ecs-component-protocol_log-http-ilm-settings@custom
• corelight-ecs-component-protocol_log-smb-ilm-settings@custom
• corelight-ecs-component-protocol_log-smtp-ilm-settings@custom
• corelight-ecs-component-protocol_log-ssl-ilm-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-ilm-settings@custom
• corelight-ecs-component-protocol_log-syslog-ilm-settings@custom
• corelight-ecs-component-protocol_log-various-ilm-settings@custom

الأسماء المستعارة للفهارس المخصصة

كل قالب فهرس محدد لاستدعاء قالب مكوّن يمكنك استخدامه لتجاوز الأسماء المستعارة للفهرس. لذلك لا تحتاج إلى تعديل قوالب فهارس المستودع لاستخدام أسماء ILM المستعارة الخاصة بك.

أنشئ القوالب المكوّنة التالية أو عدّلها بعد التثبيت. أسماء القوالب المكوّنة التي يمكنك تعديلها هي:

لتغطية جميع السجلات (مقسمة إلى 5 فئات):

• corelight-ecs-component-metric_log-aliases@custom
• corelight-ecs-component-parse_failures-aliases@custom
• corelight-ecs-component-protocol_log-aliases@custom
• corelight-ecs-component-system_log-aliases@custom
• corelight-ecs-component-unknown_log-aliases@custom

ستغطي هذه السجلات الفردية بما يتجاوز ما سبق، التي تحتاج عادةً إلى إعداداتها الخاصة لتكون أكثر تحديدًا:

• corelight-ecs-component-protocol_log-conn-aliases@custom
• corelight-ecs-component-protocol_log-dns-aliases@custom
• corelight-ecs-component-protocol_log-files-aliases@custom
• corelight-ecs-component-protocol_log-http-aliases@custom
• corelight-ecs-component-protocol_log-smb-aliases@custom
• corelight-ecs-component-protocol_log-smtp-aliases@custom
• corelight-ecs-component-protocol_log-ssl-aliases@custom
• corelight-ecs-component-protocol_log-suricata_corelight-aliases@custom
• corelight-ecs-component-protocol_log-syslog-aliases@custom
• corelight-ecs-component-protocol_log-various-aliases@custom

مسارات الإدخال المخصصة

مسار الالتقاط الشامل المخصص لبداية مسارات الإدخال

في بداية مسارات الإدخال، قبل استدعاء أي من مسارات Corelight، توجد وظيفة لاستخدام مسار الإدخال المسمى corelight-ecs-main-pipeline@custom. يمكنك إنشاء مسار إدخال بهذا الاسم إذا كانت هناك أشياء تريد القيام بها قبل استدعاء مسارات Corelight. إذا لم تقم بإنشاء المسار، تتجاوزها الوظيفة بصمت، وبالتالي فهو اختياري.

مسار الالتقاط الشامل المخصص لنهاية مسارات الإدخال

في نهاية مسارات الإدخال، بعد استدعاء جميع مسارات Corelight، توجد وظيفة لاستخدام مسار الإدخال المسمى corelight-ecs-postprocess-final-main-pipeline@custom. يمكنك إنشاء مسار إدخال بهذا الاسم إذا كانت هناك أشياء تريد القيام بها قبل استدعاء مسارات Corelight. إذا لم تقم بإنشاء المسار، تتجاوزها الوظيفة بصمت، وبالتالي فهو اختياري.

مسار الالتقاط الشامل المخصص لبداية التقاط أخطاء التحليل في مسارات الإدخال

في بداية مسارات الإدخال لالتقاط on_failure الشامل لحالات فشل مسار الإدخال، قبل استدعاء أي من مسارات Corelight، توجد وظيفة لاستخدام مسار الإدخال المسمى corelight-ecs-parse_failures-pipeline@custom. يمكنك إنشاء مسار إدخال بهذا الاسم إذا كانت هناك أشياء تريد القيام بها قبل استدعاء مسارات Corelight. إذا لم تقم بإنشاء المسار، تتجاوزها الوظيفة بصمت، وبالتالي فهو اختياري.

مسار الالتقاط الشامل المخصص لنهاية التقاط أخطاء التحليل في مسارات الإدخال

في نهاية مسارات الإدخال، بعد استدعاء جميع مسارات Corelight، توجد وظيفة لاستخدام مسار الإدخال المسمى corelight-ecs-postprocess-final-main-pipeline@custom. يمكنك إنشاء مسار إدخال بهذا الاسم إذا كانت هناك أشياء تريد القيام بها قبل استدعاء مسارات Corelight. إذا لم تقم بإنشاء المسار، تتجاوزها الوظيفة بصمت، وبالتالي فهو اختياري.

3. التثبيت

استخدام البرنامج النصي

git clone https://github.com/corelight/ecs-templates
cd ecs-templates
python3 corelight_ecs.py

وسائط البرنامج النصي

• --no-color: تعطيل الألوان في التسجيل.
• --debug: تمكين تسجيل بمستوى التصحيح.
• --es-default-timeout=10: تغيير المهلة الافتراضية لانتظار الاتصال بـ elasticsearch.
• --es-default-retry=2: تغيير العدد الافتراضي لمحاولات إعادة الاتصال بـ elasticsearch.
• --git-repository=corelight: تغيير العدد الافتراضي لمحاولات إعادة الاتصال بـ elasticsearch.
• --git-branch=main: تغيير العدد الافتراضي لمحاولات إعادة الاتصال بـ elasticsearch.

4. ما بعد التثبيت

Logstash

قد تحتاج بعض القيم إلى التغيير بعد التثبيت لتناسب بيئتك. يتضمن ذلك أشياء مثل مرجع شهادات مخصص لاتصال elasticsearch، وموضوعات مختلفة لـ kafka، وما إلى ذلك. نظرًا لوجود أكثر من 20 خيارًا في مخرجات elasticsearch وأكثر من 60 خيارًا عبر 5 مدخلات مختلفة، فإن المثبّت لا يوفرها جميعًا أو يطلبها أو يتحقق من صحتها. ومع ذلك، لمساعدتك، سيخبرك البرنامج النصي بالملفات التي يجب تعديلها. أيضًا، لأولئك الذين يستخدمون الأتمتة الكاملة لكل الأشياء، تم توفير برنامج نصي مثال لإظهار أنه من الممكن أتمتة عملية تغيير القيم في الملفات بعد التثبيت مع إلغاء تعليق الأسطر للمتغيرات المستخدمة في الوقت نفسه.

تخصيص قوالبك

راجع قسم التخصيص لمزيد من التفاصيل.

إعداد مستشعر Corelight - Elastic Exporter

• لاستخدام نمط فهرس فقط لتتمكن من الوصول إلى مسارات الإدخال، مثل لجهاز corelight أو للاختبار. عيّن البادئة إلى temporary_corelight_routing_index
• تعطيل فهارس النظام
• تمكين Data Streams - اعتمادًا على الإصدار، سيكون مربع اختيار في المصدّر أو في الإعدادات المتقدمة (Advance Configuration) يمكنك تمكين bro.export.elasticsearch.use_data_streams

سجل التغييرات (قيد العمل)

راجع ملف changelog.md للحصول على سجل تغييرات كامل للمستودع.

قائمة المهام (قيد العمل)

راجع ملف todo.md للحصول على قائمة كاملة بالأمور الواجب القيام بها للمستودع.

التحكم في الإصدارات

يعتمد إصدار هذا المستودع على إصدار Elastic Common Schema (ECS) الذي يدعمه. تُضاف حقول إلى كل سجل:

• labels.corelight.ecs_version
• labels.corelight.ecs_method
• labels.corelight.ecs_method_version

تعريفات مستودع GitHub

قوالب Elasticsearch (هذا المستودع)

https://github.com/corelight/ecs-templates

• قوالب فهارس Elasticsearch، والقوالب المكوّنة، وسياسات ilm، والإعدادات، والتعيينات
• البرنامج النصي للتثبيت

مسارات Logstash

https://github.com/corelight/ecs-logstash-mappings

• إعدادات مسارات Logstash

مسارات الإدخال

https://github.com/corelight/ecs-mapping

• إعدادات مسارات الإدخال

لوحات معلومات Kibana والتصورات

https://github.com/corelight/ecs-dashboards

قواعد وتنبيهات الأمان في Kibana

https://github.com/corelight/Elasticsearch_rules