Übersicht

Dieses Repository enthält alles, was erforderlich ist, um Corelight- oder Zeek-Logs in den Namensstandard des Elastic Common Schema (ECS) zu konvertieren und sie in einer Elastic-Stack-Bereitstellung zu speichern. Ursprünglich 2019 veröffentlicht, im selben Jahr wie Elastic Common Schema, wird dieses Repository weiterhin aktiv gepflegt und aktualisiert.

Es unterstützt über 200 verschiedene Logs und Metriken und ist darauf ausgelegt, alle Umgebungen zu unterstützen und gleichzeitig die erforderlichen und gewünschten Optionen an jede einzelne Umgebung anpassen zu können.
Erhebliche Anstrengungen wurden investiert, um die Unterstützung für alle Umgebungen sicherzustellen und gleichzeitig die Anpassung notwendiger und gewünschter Optionen an jede einzelne und jeweilige Bereitstellung zu ermöglichen.

Das Repository besteht hauptsächlich aus zwei Dingen:

1. Elasticsearch-Indexvorlagen, Komponentenvorlagen, ILM-Richtlinien, Einstellungen und Zuordnungen (Mappings)
2. Installationsskript für dieses Repository und die entsprechenden Ingest Pipelines ODER Logstash-Pipelines

Lizenz

Die Dateien und das Automatisierungsskript sind Open Source unter einer BSD-Lizenz. Siehe COPYING für Details.

Installationsschritte

Bitte lesen Sie alle Abschnitte, bevor Sie das Skript ausführen.

1. Anforderungen
2. Anpassung
3. Installation
4. Nach der Installation

1. Anforderungen

• Verwendung des Skripts corelight_ecs.py aus diesem Repository. Eine manuelle Installation der Vorlagen und Pipelines wird nicht unterstützt, da hunderte Variablen in den Dateien vorhanden sind, die vom Skript ersetzt werden.
• Python 3.6 und höher
• Elasticsearch Version 8.x und höher
• Bei Verwendung von Logstash: Logstash Version 8.x und höher, oder falls Sie noch Version 7.x verwenden, 7.17 und höher
• Elasticsearch-Datastream-Indizierungsstrategie

2. Anpassung

Die Anpassung von Indexeinstellungen, Mappings, Aliassen und ILM-Richtlinien wird ausdrücklich empfohlen. Daher ist das Skript so konzipiert, dass es viele Arten von Anpassungen unterstützt (unten im Detail beschrieben).
Viele Anpassungen werden nicht benötigt, aber es ist besser, die Option zu haben als nicht. Es wird immer empfohlen, Ihre eigene Anzahl von Shards/Repliken und Ihre eigene ILM-Richtlinie zu verwenden, aber darüber hinaus sollten Sie nicht viel anderes anpassen müssen. Wenn Sie jedoch normalerweise viele Dinge in den Indexvorlagen, Ingest Pipelines und Logstash-Pipelines in allen Ihren Bereitstellungen anpassen, haben Sie weiterhin die Möglichkeit dazu.

• Benutzerdefinierte Indexnamen
  das Skript wird Sie dazu auffordern und automatisch alle Vorlagen, Logstash-Pipelines und/oder Ingest Pipelines aktualisieren, die eine Aktualisierung benötigen
• Indexeinstellungen
  • Anzahl der Shards
  • Anzahl der Repliken
  • Andere Indexeinstellungen überschreiben
  • Alles andere, was Sie in der Komponentenvorlage für den Einstellungsteil für angemessen halten
• Index-Mappings
  • Elasticsearch-Indexfeld-Mapping überschreiben
  • Alles andere, was Sie in der Komponentenvorlage für den Mappings-Teil für angemessen halten
• ILM-Richtlinien
  • Benutzerdefinierte ILM-Richtlinie
• Index-Aliase
  • Aliase für die Indexmuster, z. B. für Abwärtskompatibilität oder zum Deaktivieren
• Benutzerdefinierte Ingest Pipelines
  • Die Möglichkeit, Ihre eigene benutzerdefinierte Ingest Pipeline aufzurufen, bevor Corelight-Ingest-Pipelines aufgerufen werden, ohne die Corelight-Ingest-Pipelines zu modifizieren
  • Die Möglichkeit, Ihre eigene benutzerdefinierte Ingest Pipeline aufzurufen, nachdem alle Corelight-Ingest-Pipelines aufgerufen wurden, ohne die Corelight-Ingest-Pipelines zu modifizieren
• Benutzerdefinierte Logstash-Pipelines sind lediglich eine Frage des Erstellens einer Datei mit einer niedrigeren alphanumerischen Reihenfolge und des Ladens in dasselbe Verzeichnis

Weitere Details finden Sie in den jeweiligen Abschnitten unten.

Benutzerdefinierte Indexoptionen

Benutzerdefinierte Indexnamen

Das Skript fragt Sie, ob Sie benutzerdefinierte Indexnamen/-muster für Ihre Datastreams wählen möchten. Dies ermöglicht Ihnen, Ihre eigene Indexnamenskonvention zu wählen. Zum Beispiel könnten Sie wählen:

• logs-corelight.conn-default
• ecs-corelight.conn-default
• call_it_what_you_will.conn-default
• logs-corelight.conn-remotesite1

Es aktualisiert dann auch alle notwendigen Indexvorlagen, falls Sie Ingest Pipelines oder Logstash-Pipelines gewählt haben. Es wird nicht empfohlen, die Standardwerte zu ändern, da die Corelight-Logs nun so eingerichtet sind, dass sie mit allen anderen Arten von ECS-Daten funktionieren und innerhalb einer Kibana-Datensicht wie logs-* verwendet werden können.

Für Multi-Tenant-Umgebungen wie MSSPs/CSSPs oder verschiedene Netzwerke können Sie nicht nur den Organisationsteil des Datastreams in den Abfragen des Skripts wählen (das ist der default-Teil in den 3 obigen Beispielen). Wenn Sie jedoch data_stream.namespace in Filebeat oder über eine andere Methode setzen oder die Pipelines anhängen, sind die Pipelines so eingestellt, dass sie diese Variable respektieren, falls sie bereits gesetzt ist, und sie nicht überschreiben. Stellen Sie nur sicher, dass Ihr Namespace auf einen Wert gesetzt ist, den Elasticsearch für einen Indexnamen zulässt (ein häufiger Fehler, der manchmal nicht offensichtlich ist).

Sie können die verwendeten Indexmuster in der Google-Tabelle und den Standard für jedes Log einsehen. Außerdem werden einige zusätzliche Informationen wie event.category, event.kind usw. für jedes Log aufgelistet.

Benutzerdefinierte Indexeinstellungen, z. B.: Shards und Repliken

Jede Indexvorlage ist so festgelegt, dass sie eine Komponentenvorlage aufruft, mit der Sie die Indexeinstellungen überschreiben können. Daher müssen Sie die Repository-Indexvorlagen nicht modifizieren, um Ihre eigenen Indexeinstellungen zu verwenden.

Erstellen Sie die folgenden Komponentenvorlagen oder modifizieren Sie sie nach der Installation. Die Namen der Komponentenvorlagen, die Sie modifizieren können, sind:

um alle Logs abzudecken (unterteilt in 5 Kategorien):

• corelight-ecs-component-metric_log-base-settings@custom
• corelight-ecs-component-parse_failures-base-settings@custom
• corelight-ecs-component-protocol_log-base-settings@custom
• corelight-ecs-component-system_log-base-settings@custom
• corelight-ecs-component-unknown_log-base-settings@custom