نظرة عامة

يحتوي هذا المستودع على كل ما هو ضروري لتحويل سجلات Corelight أو Zeek إلى معيار التسمية Elastic Common Schema (ECS) وتخزينها في نشر Elastic Stack. صدر في الأصل عام 2019، وهو نفس عام إطلاق Elastic Common Schema، ولا يزال هذا المستودع قيد الصيانة والتحديث بنشاط.

وهو يدعم أكثر من 200 سجل ومقياس مختلف وهو مصمم لدعم جميع البيئات مع القدرة في الوقت نفسه على تخصيص الخيارات المطلوبة والمرغوبة لدعم كل بيئة فريدة.
تم استثمار جهد كبير لضمان الدعم عبر جميع البيئات، مع السماح في الوقت نفسه بتخصيص الخيارات الضرورية والمرغوبة لتناسب كل نشر فريد ومعني.

يتكون المستودع بشكل أساسي من شيئين:

قوالب فهارس Elasticsearch، والقوالب المكوّنة، وسياسات ilm، والإعدادات، والتعيينات
البرنامج النصي للتثبيت لهذا المستودع ومسارات الإدخال المقابلة أو مسارات Logstash

الترخيص

الملفات والبرنامج النصي للأتمتة مفتوحة المصدر بموجب ترخيص BSD. راجع COPYING للحصول على التفاصيل.

خطوات التثبيت

يرجى قراءة جميع الأقسام قبل تشغيل البرنامج النصي.

المتطلبات
التخصيص
التثبيت
ما بعد التثبيت

1. المتطلبات

استخدام البرنامج النصي corelight_ecs.py من هذا المستودع. لا يُدعم تثبيت القوالب وخطوط الأنابيب يدويًا نظرًا لوجود مئات المتغيرات في جميع أنحاء الملفات التي يستبدلها البرنامج النصي.
Python 3.6 فما أعلى
Elasticsearch الإصدار 8.x فما أعلى
إذا كنت تستخدم Logstash، فاستخدم Logstash الإصدار 8.x فما أعلى، أو إذا كنت لا تزال على الإصدار 7.x فاستخدم 7.17 فما أعلى
استراتيجية فهرسة Datastream الخاصة بـ Elasticsearch

2. التخصيص

يُشجَّع على تخصيص إعدادات الفهرس والتعيينات والأسماء المستعارة وسياسات ILM. لذلك، صُمم البرنامج النصي ليدعم العديد من أنواع التخصيصات (مفصلة أدناه).
لن تحتاج إلى معظم التخصيصات، لكن من الأفضل أن تتوفر لك الخيارات بدلاً من عدم توفرها. يُنصح دائمًا باستخدام عدد القصاصات/النسخ المتماثلة وسياسة ILM الخاصة بك، لكن بعيدًا عن ذلك لن تحتاج إلى تخصيص الكثير. ومع ذلك، إذا كنت عادةً تخصص أشياء كثيرة في قوالب الفهارس وخطوط أنابيب الإدخال ومسارات Logstash في جميع عمليات النشر لديك، فستظل لديك القدرة على ذلك.

أسماء الفهارس المخصصة
سيطلب منك البرنامج النصي ذلك ويحدّث تلقائيًا أي قوالب أو مسارات Logstash أو مسارات إدخال تحتاج إلى التحديث
إعدادات الفهرس
- عدد القصاصات
- عدد النسخ المتماثلة
- تجاوز إعدادات الفهرس الأخرى
- أي شيء آخر تراه مناسبًا في القالب المكوّن لجزء الإعدادات
تعيينات الفهرس
- تجاوز تعيين حقول فهرس Elasticsearch
- أي شيء آخر تراه مناسبًا في القالب المكوّن لجزء التعيينات
سياسات ILM
- سياسة ILM مخصصة
الأسماء المستعارة للفهارس
- أسماء مستعارة لأنماط الفهارس، مثل للتوافق مع الإصدارات السابقة أو لتعطيلها
مسارات الإدخال المخصصة
- القدرة على استدعاء مسار الإدخال المخصص الخاص بك قبل استدعاء أي من مسارات Corelight للإدخال ودون تعديل مسارات إدخال Corelight إطلاقًا
- القدرة على استدعاء مسار الإدخال المخصص الخاص بك بعد استدعاء جميع مسارات Corelight للإدخال ودون تعديل مسارات إدخال Corelight إطلاقًا
مسارات Logstash المخصصة هي مجرد مسألة إنشاء ملف بترتيب أبجدي رقمي أقل وتحميله في نفس الدليل

راجع كل قسم أدناه لمزيد من التفاصيل.

خيارات الفهرس المخصصة

أسماء الفهارس المخصصة

سيطلب منك البرنامج النصي إذا كنت ترغب في اختيار أسماء/أنماط فهارس مخصصة لدفقات البيانات الخاصة بك. هذا يتيح لك اختيار اصطلاح التسمية الخاص بك للفهارس. على سبيل المثال يمكنك اختيار:

logs-corelight.conn-default
ecs-corelight.conn-default
call_it_what_you_will.conn-default
logs-corelight.conn-remotesite1

بعد ذلك سيحدّث جميع قوالب الفهارس الضرورية وكذلك مسارات الإدخال أو مسارات Logstash إذا اخترتها. لا يُنصح بتغيير القيم الافتراضية، لأن سجلات Corelight أصبحت الآن مهيأة للعمل مع جميع الأنواع الأخرى من بيانات ECS، ولتكون قابلة للاستخدام من داخل طريقة عرض بيانات Kibana مثل logs-*

بالنسبة للبيئات متعددة المستأجرين مثل MSSPs/CSSPs أو الشبكات المختلفة، لا يمكنك فقط اختيار جزء المؤسسة من دفق البيانات في مطالبات البرنامج النصي (وهو الجزء default في الأمثلة الثلاثة أعلاه)، ومع ذلك إذا قمت بتعيين data_stream.namespace في filebeat أو بطريقة أخرى أو ربطت المسارات، فإن المسارات مضبوطة على احترام هذا المتغير إذا كان معينًا بالفعل وعدم تجاوزه. فقط تأكد من أن namespace مضبوط على قيمة تسمح بها Elasticsearch لاسم الفهرس (خطأ شائع لا يكون واضحًا أحيانًا).

يمكنك الاطلاع على أنماط الفهارس المستخدمة في جدول Google والافتراضي لكل سجل. كما يسرد بعض المعلومات الإضافية مثل event.category و event.kind وغيرها لكل سجل.

إعدادات الفهرس المخصصة أي: القصاصات والنسخ المتماثلة

كل قالب فهرس محدد لاستدعاء قالب مكوّن يمكنك استخدامه لتجاوز إعدادات الفهرس. لذلك لا تحتاج إلى تعديل قوالب فهارس المستودع لاستخدام إعدادات الفهرس الخاصة بك.

أنشئ القوالب المكوّنة التالية أو عدّلها بعد التثبيت. أسماء القوالب المكوّنة التي يمكنك تعديلها هي:

لتغطية جميع السجلات (مقسمة إلى 5 فئات):

corelight-ecs-component-metric_log-base-settings@custom
corelight-ecs-component-parse_failures-base-settings@custom
corelight-ecs-component-protocol_log-base-settings@custom
corelight-ecs-component-system_log-base-settings@custom
corelight-ecs-component-unknown_log-base-settings@custom

لتغطية السجلات الفردية بما يتجاوز ما سبق، التي تحتاج عادةً إلى إعداداتها الخاصة لتكون أكثر تحديدًا:

corelight-ecs-component-protocol_log-conn-base-settings@custom
corelight-ecs-component-protocol_log-dns-base-settings@custom
corelight-ecs-component-protocol_log-files-base-settings@custom
corelight-ecs-component-protocol_log-http-base-settings@custom
corelight-ecs-component-protocol_log-smb-base-settings@custom
corelight-ecs-component-protocol_log-smtp-base-settings@custom
corelight-ecs-component-protocol_log-ssl-base-settings@custom
corelight-ecs-component-protocol_log-suricata_corelight-base-settings@custom
corelight-ecs-component-protocol_log-syslog-base-settings@custom
corelight-ecs-component-protocol_log-various-base-settings@custom
corelight-ecs-component-protocol_log-weird-base-settings@custom
corelight-ecs-component-protocol_log-x509-base-settings@custom

تخصيص تعيينات الفهرس أي: الحقول

كل قالب فهرس محدد لاستدعاء قالب مكوّن يمكنك استخدامه لتجاوز تعيينات الفهرس لأشياء مثل أنواع الحقول أو أسمائها. لذلك لا تحتاج إلى تعديل قوالب فهارس المستودع لاستخدام تعيينات الفهرس الخاصة بك.