Übersicht

Dieses Repository enthält alles, was erforderlich ist, um Corelight- oder Zeek-Logs in den Namensstandard des Elastic Common Schema (ECS) zu konvertieren und sie in einer Elastic-Stack-Bereitstellung zu speichern. Ursprünglich 2019 veröffentlicht, im selben Jahr wie Elastic Common Schema, wird dieses Repository weiterhin aktiv gepflegt und aktualisiert.

Es unterstützt über 200 verschiedene Logs und Metriken und ist darauf ausgelegt, alle Umgebungen zu unterstützen und gleichzeitig die erforderlichen und gewünschten Optionen an jede einzelne Umgebung anpassen zu können.
Erhebliche Anstrengungen wurden investiert, um die Unterstützung für alle Umgebungen sicherzustellen und gleichzeitig die Anpassung notwendiger und gewünschter Optionen an jede einzelne und jeweilige Bereitstellung zu ermöglichen.

Das Repository besteht hauptsächlich aus zwei Dingen:

1. Elasticsearch-Indexvorlagen, Komponentenvorlagen, ILM-Richtlinien, Einstellungen und Zuordnungen (Mappings)
2. Installationsskript für dieses Repository und die entsprechenden Ingest Pipelines ODER Logstash-Pipelines

Lizenz

Die Dateien und das Automatisierungsskript sind Open Source unter einer BSD-Lizenz. Siehe COPYING für Details.

Installationsschritte

Bitte lesen Sie alle Abschnitte, bevor Sie das Skript ausführen.

1. Anforderungen
2. Anpassung
3. Installation
4. Nach der Installation

1. Anforderungen

• Verwendung des Skripts corelight_ecs.py aus diesem Repository. Eine manuelle Installation der Vorlagen und Pipelines wird nicht unterstützt, da hunderte Variablen in den Dateien vorhanden sind, die vom Skript ersetzt werden.
• Python 3.6 und höher
• Elasticsearch Version 8.x und höher
• Bei Verwendung von Logstash: Logstash Version 8.x und höher, oder falls Sie noch Version 7.x verwenden, 7.17 und höher
• Elasticsearch-Datastream-Indizierungsstrategie

2. Anpassung

Die Anpassung von Indexeinstellungen, Mappings, Aliassen und ILM-Richtlinien wird ausdrücklich empfohlen. Daher ist das Skript so konzipiert, dass es viele Arten von Anpassungen unterstützt (unten im Detail beschrieben).
Viele Anpassungen werden nicht benötigt, aber es ist besser, die Option zu haben als nicht. Es wird immer empfohlen, Ihre eigene Anzahl von Shards/Repliken und Ihre eigene ILM-Richtlinie zu verwenden, aber darüber hinaus sollten Sie nicht viel anderes anpassen müssen. Wenn Sie jedoch normalerweise viele Dinge in den Indexvorlagen, Ingest Pipelines und Logstash-Pipelines in allen Ihren Bereitstellungen anpassen, haben Sie weiterhin die Möglichkeit dazu.

• Benutzerdefinierte Indexnamen
  das Skript wird Sie dazu auffordern und automatisch alle Vorlagen, Logstash-Pipelines und/oder Ingest Pipelines aktualisieren, die eine Aktualisierung benötigen
• Indexeinstellungen
  • Anzahl der Shards
  • Anzahl der Repliken
  • Andere Indexeinstellungen überschreiben
  • Alles andere, was Sie in der Komponentenvorlage für den Einstellungsteil für angemessen halten
• Index-Mappings
  • Elasticsearch-Indexfeld-Mapping überschreiben
  • Alles andere, was Sie in der Komponentenvorlage für den Mappings-Teil für angemessen halten
• ILM-Richtlinien
  • Benutzerdefinierte ILM-Richtlinie
• Index-Aliase
  • Aliase für die Indexmuster, z. B. für Abwärtskompatibilität oder zum Deaktivieren
• Benutzerdefinierte Ingest Pipelines
  • Die Möglichkeit, Ihre eigene benutzerdefinierte Ingest Pipeline aufzurufen, bevor Corelight-Ingest-Pipelines aufgerufen werden, ohne die Corelight-Ingest-Pipelines zu modifizieren
  • Die Möglichkeit, Ihre eigene benutzerdefinierte Ingest Pipeline aufzurufen, nachdem alle Corelight-Ingest-Pipelines aufgerufen wurden, ohne die Corelight-Ingest-Pipelines zu modifizieren
• Benutzerdefinierte Logstash-Pipelines sind lediglich eine Frage des Erstellens einer Datei mit einer niedrigeren alphanumerischen Reihenfolge und des Ladens in dasselbe Verzeichnis

Weitere Details finden Sie in den jeweiligen Abschnitten unten.

Benutzerdefinierte Indexoptionen

Benutzerdefinierte Indexnamen

Das Skript fragt Sie, ob Sie benutzerdefinierte Indexnamen/-muster für Ihre Datastreams wählen möchten. Dies ermöglicht Ihnen, Ihre eigene Indexnamenskonvention zu wählen. Zum Beispiel könnten Sie wählen:

• logs-corelight.conn-default
• ecs-corelight.conn-default
• call_it_what_you_will.conn-default
• logs-corelight.conn-remotesite1

Es aktualisiert dann auch alle notwendigen Indexvorlagen, falls Sie Ingest Pipelines oder Logstash-Pipelines gewählt haben. Es wird nicht empfohlen, die Standardwerte zu ändern, da die Corelight-Logs nun so eingerichtet sind, dass sie mit allen anderen Arten von ECS-Daten funktionieren und innerhalb einer Kibana-Datensicht wie logs-* verwendet werden können.

Für Multi-Tenant-Umgebungen wie MSSPs/CSSPs oder verschiedene Netzwerke können Sie nicht nur den Organisationsteil des Datastreams in den Abfragen des Skripts wählen (das ist der default-Teil in den 3 obigen Beispielen). Wenn Sie jedoch data_stream.namespace in Filebeat oder über eine andere Methode setzen oder die Pipelines anhängen, sind die Pipelines so eingestellt, dass sie diese Variable respektieren, falls sie bereits gesetzt ist, und sie nicht überschreiben. Stellen Sie nur sicher, dass Ihr Namespace auf einen Wert gesetzt ist, den Elasticsearch für einen Indexnamen zulässt (ein häufiger Fehler, der manchmal nicht offensichtlich ist).

Sie können die verwendeten Indexmuster in der Google-Tabelle und den Standard für jedes Log einsehen. Außerdem werden einige zusätzliche Informationen wie event.category, event.kind usw. für jedes Log aufgelistet.

Benutzerdefinierte Indexeinstellungen, z. B.: Shards und Repliken

Jede Indexvorlage ist so festgelegt, dass sie eine Komponentenvorlage aufruft, mit der Sie die Indexeinstellungen überschreiben können. Daher müssen Sie die Repository-Indexvorlagen nicht modifizieren, um Ihre eigenen Indexeinstellungen zu verwenden.

Erstellen Sie die folgenden Komponentenvorlagen oder modifizieren Sie sie nach der Installation. Die Namen der Komponentenvorlagen, die Sie modifizieren können, sind:

um alle Logs abzudecken (unterteilt in 5 Kategorien):

• corelight-ecs-component-metric_log-base-settings@custom
• corelight-ecs-component-parse_failures-base-settings@custom
• corelight-ecs-component-protocol_log-base-settings@custom
• corelight-ecs-component-system_log-base-settings@custom
• corelight-ecs-component-unknown_log-base-settings@custom

um einzelne Logs über die obigen hinaus abzudecken, die häufig eigene, noch spezifischere Einstellungen benötigen:

• corelight-ecs-component-protocol_log-conn-base-settings@custom
• corelight-ecs-component-protocol_log-dns-base-settings@custom
• corelight-ecs-component-protocol_log-files-base-settings@custom
• corelight-ecs-component-protocol_log-http-base-settings@custom
• corelight-ecs-component-protocol_log-smb-base-settings@custom
• corelight-ecs-component-protocol_log-smtp-base-settings@custom
• corelight-ecs-component-protocol_log-ssl-base-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-base-settings@custom
• corelight-ecs-component-protocol_log-syslog-base-settings@custom
• corelight-ecs-component-protocol_log-various-base-settings@custom

Anpassung von Index-Mappings, z. B.: Felder

Jede Indexvorlage ist so festgelegt, dass sie eine Komponentenvorlage aufruft, mit der Sie die Index-Mappings für Dinge wie Feldtypen oder -namen überschreiben können. Daher müssen Sie die Repository-Indexvorlagen nicht modifizieren, um Ihre eigenen Index-Mappings zu verwenden.

Erstellen Sie die folgenden Komponentenvorlagen oder modifizieren Sie sie nach der Installation. Die Namen der Komponentenvorlagen, die Sie modifizieren können, sind:

um alle Logs abzudecken (unterteilt in 5 Kategorien):

• corelight-ecs-component-metric_log-mappings@custom
• corelight-ecs-component-parse_failures-mappings@custom
• corelight-ecs-component-protocol_log-mappings@custom
• corelight-ecs-component-system_log-mappings@custom
• corelight-ecs-component-unknown_log-mappings@custom

um einzelne Logs über die obigen hinaus abzudecken, die häufig eigene, noch spezifischere Einstellungen benötigen:

• corelight-ecs-component-protocol_log-conn-mappings@custom
• corelight-ecs-component-protocol_log-dns-mappings@custom
• corelight-ecs-component-protocol_log-files-mappings@custom
• corelight-ecs-component-protocol_log-http-mappings@custom
• corelight-ecs-component-protocol_log-smb-mappings@custom
• corelight-ecs-component-protocol_log-smtp-mappings@custom
• corelight-ecs-component-protocol_log-ssl-mappings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-mappings@custom
• corelight-ecs-component-protocol_log-syslog-mappings@custom
• corelight-ecs-component-protocol_log-various-mappings@custom

Benutzerdefinierte ILM-Richtlinienstrategie

Jede Indexvorlage ist so festgelegt, dass sie eine Komponentenvorlage aufruft, mit der Sie die ILM-Richtlinie überschreiben können, um Ihre eigene Aufbewahrungsdauer festzulegen. Daher müssen Sie die Repository-Indexvorlagen nicht modifizieren, um Ihre eigene ILM-Richtlinie zu verwenden.

Erstellen Sie die folgenden Komponentenvorlagen oder modifizieren Sie sie nach der Installation. Die Namen der Komponentenvorlagen, die Sie modifizieren können, sind:

um alle Logs abzudecken (unterteilt in 5 Kategorien):

• corelight-ecs-component-metric_log-ilm-settings@custom
• corelight-ecs-component-parse_failures-ilm-settings@custom
• corelight-ecs-component-protocol_log-ilm-settings@custom
• corelight-ecs-component-system_log-ilm-settings@custom
• corelight-ecs-component-unknown_log-ilm-settings@custom

diese werden einzelne Logs über die obigen hinaus abdecken, die häufig eigene, noch spezifischere Einstellungen benötigen:

• corelight-ecs-component-protocol_log-conn-ilm-settings@custom
• corelight-ecs-component-protocol_log-dns-ilm-settings@custom
• corelight-ecs-component-protocol_log-files-ilm-settings@custom
• corelight-ecs-component-protocol_log-http-ilm-settings@custom
• corelight-ecs-component-protocol_log-smb-ilm-settings@custom
• corelight-ecs-component-protocol_log-smtp-ilm-settings@custom
• corelight-ecs-component-protocol_log-ssl-ilm-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-ilm-settings@custom
• corelight-ecs-component-protocol_log-syslog-ilm-settings@custom
• corelight-ecs-component-protocol_log-various-ilm-settings@custom

Benutzerdefinierte Index-Aliase

Jede Indexvorlage ist so festgelegt, dass sie eine Komponentenvorlage aufruft, mit der Sie die Index-Aliase überschreiben können. Daher müssen Sie die Repository-Indexvorlagen nicht modifizieren, um Ihre eigenen Index-Aliase zu verwenden.

Erstellen Sie die folgenden Komponentenvorlagen oder modifizieren Sie sie nach der Installation. Die Namen der Komponentenvorlagen, die Sie modifizieren können, sind:

um alle Logs abzudecken (unterteilt in 5 Kategorien):

• corelight-ecs-component-metric_log-aliases@custom
• corelight-ecs-component-parse_failures-aliases@custom
• corelight-ecs-component-protocol_log-aliases@custom
• corelight-ecs-component-system_log-aliases@custom
• corelight-ecs-component-unknown_log-aliases@custom

diese werden einzelne Logs über die obigen hinaus abdecken, die häufig eigene, noch spezifischere Einstellungen benötigen:

• corelight-ecs-component-protocol_log-conn-aliases@custom
• corelight-ecs-component-protocol_log-dns-aliases@custom
• corelight-ecs-component-protocol_log-files-aliases@custom
• corelight-ecs-component-protocol_log-http-aliases@custom
• corelight-ecs-component-protocol_log-smb-aliases@custom
• corelight-ecs-component-protocol_log-smtp-aliases@custom
• corelight-ecs-component-protocol_log-ssl-aliases@custom
• corelight-ecs-component-protocol_log-suricata_corelight-aliases@custom
• corelight-ecs-component-protocol_log-syslog-aliases@custom
• corelight-ecs-component-protocol_log-various-aliases@custom

Benutzerdefinierte Ingest Pipelines

Benutzerdefinierte Start-Ingest-Pipeline (Catchall)

Am Anfang der Ingest Pipelines, bevor irgendwelche Corelight-Pipelines aufgerufen werden, gibt es eine Funktion zur Verwendung der Ingest Pipeline namens corelight-ecs-main-pipeline@custom. Sie können eine Ingest Pipeline mit diesem Namen erstellen, wenn es Dinge gibt, die Sie tun möchten, bevor die Corelight-Pipelines aufgerufen werden. Wenn Sie die Pipeline nicht erstellen, übergibt die Funktion sie stillschweigend, daher ist sie optional.

Benutzerdefinierte finale Ingest Pipeline (Catchall)

Am Ende der Ingest Pipelines, nachdem alle Corelight-Pipelines aufgerufen wurden, gibt es eine Funktion zur Verwendung der Ingest Pipeline namens corelight-ecs-postprocess-final-main-pipeline@custom. Sie können eine Ingest Pipeline mit diesem Namen erstellen, wenn es Dinge gibt, die Sie tun möchten, bevor die Corelight-Pipelines aufgerufen werden. Wenn Sie die Pipeline nicht erstellen, übergibt die Funktion sie stillschweigend, daher ist sie optional.

Benutzerdefinierte Start-Ingest-Pipeline für Parse-Fehler (Catchall)

Am Anfang der Ingest Pipelines, im on_failure-Catchall für Ingest-Pipeline-Fehler, bevor irgendwelche Corelight-Pipelines aufgerufen werden, gibt es eine Funktion zur Verwendung der Ingest Pipeline namens corelight-ecs-parse_failures-pipeline@custom. Sie können eine Ingest Pipeline mit diesem Namen erstellen, wenn es Dinge gibt, die Sie tun möchten, bevor die Corelight-Pipelines aufgerufen werden. Wenn Sie die Pipeline nicht erstellen, übergibt die Funktion sie stillschweigend, daher ist sie optional.

Benutzerdefinierte finale Ingest Pipeline für Parse-Fehler (Catchall)

Am Ende der Ingest Pipelines, nachdem alle Corelight-Pipelines aufgerufen wurden, gibt es eine Funktion zur Verwendung der Ingest Pipeline namens corelight-ecs-postprocess-final-main-pipeline@custom. Sie können eine Ingest Pipeline mit diesem Namen erstellen, wenn es Dinge gibt, die Sie tun möchten, bevor die Corelight-Pipelines aufgerufen werden. Wenn Sie die Pipeline nicht erstellen, übergibt die Funktion sie stillschweigend, daher ist sie optional.

3. Installation

Skriptverwendung

git clone https://github.com/corelight/ecs-templates
cd ecs-templates
python3 corelight_ecs.py

Skriptargumente

• --no-color: Deaktiviert Farben für die Protokollierung.
• --debug: Aktiviert die Protokollierung auf Debug-Ebene.
• --es-default-timeout=10: Ändert das Standard-Timeout beim Warten auf die Verbindung zum Elasticsearch.
• --es-default-retry=2: Ändert die Standardanzahl der Wiederholungsversuche für eine Verbindung zum Elasticsearch.
• --git-repository=corelight: Ändert die Standardanzahl der Wiederholungsversuche für eine Verbindung zum Elasticsearch.
• --git-branch=main: Ändert die Standardanzahl der Wiederholungsversuche für eine Verbindung zum Elasticsearch.

4. Nach der Installation

Logstash

Bestimmte Werte müssen möglicherweise nach der Installation geändert werden, um zu Ihrer Umgebung zu passen. Dazu gehören Dinge wie eine benutzerdefinierte Zertifizierungsstelle für die Elasticsearch-Verbindung, verschiedene Kafka-Topics und so weiter. Da es über 20 Optionen im Elasticsearch-Output und über 60 Optionen über 5 verschiedene Inputs gibt, bietet der Installer nicht alle an, fragt nicht nach ihnen und prüft nicht deren Gültigkeit. Um Ihnen jedoch zu helfen, teilt Ihnen das Skript mit, welche Dateien Sie ändern müssen. Außerdem wurde für diejenigen, die eine vollständige Automatisierung verwenden, ein Beispielskript bereitgestellt, um zu zeigen, dass es möglich ist, den Prozess der Wertänderung in den Dateien nach der Installation zu automatisieren und gleichzeitig die Zeilen für die verwendeten Variablen zu entkommentieren.

Passen Sie Ihre Vorlagen an

Weitere Details finden Sie im Abschnitt Anpassung.

Corelight Sensor-Setup - Elastic Exporter

• ein Indexmuster nur verwenden, um die Ingest Pipelines erreichen zu können, z. B. für eine Corelight-Appliance oder für Tests. Setzen Sie das Präfix auf temporary_corelight_routing_index
• System-Indizes deaktivieren
• Data Streams aktivieren - Je nach Version handelt es sich um ein Kontrollkästchen im Exporter, oder in der erweiterten Konfiguration (Advance Configuration) können Sie bro.export.elasticsearch.use_data_streams aktivieren

Changelog WIP

Den vollständigen Changelog des Repositorys finden Sie in der Datei changelog.md.

To Do List WIP

Eine vollständige Liste der anstehenden Aufgaben für das Repository finden Sie in der Datei todo.md.

Versionierung

Die Versionierung dieses Repositorys basiert auf der Version des Elastic Common Schema (ECS), das es unterstützt. Jedem Log werden Felder hinzugefügt:

• labels.corelight.ecs_version
• labels.corelight.ecs_method
• labels.corelight.ecs_method_version

Github Repository-Definitionen

Elasticsearch-Vorlagen (Dieses Repository)

https://github.com/corelight/ecs-templates

• Elasticsearch-Indexvorlagen, Komponentenvorlagen, ILM-Richtlinien, Einstellungen und Zuordnungen (Mappings)
• Installationsskript

Logstash-Pipelines

https://github.com/corelight/ecs-logstash-mappings

• Logstash-Pipeline-Konfigurationen

Ingest Pipelines

https://github.com/corelight/ecs-mapping

• Ingest-Pipeline-Konfigurationen

Kibana-Dashboards und Visualisierungen

https://github.com/corelight/ecs-dashboards

Kibana-Sicherheitsregeln und -Alarme

https://github.com/corelight/Elasticsearch_rules