Aperçu

Ce dépôt contient tout le nécessaire pour convertir les logs Corelight ou Zeek vers le standard de nommage Elastic Common Schema (ECS) et les stocker dans un déploiement Elastic Stack. Publié initialement en 2019, la même année que l'Elastic Common Schema, ce dépôt est toujours activement maintenu et mis à jour.

Il prend en charge plus de 200 logs et métriques différents et est conçu pour prendre en charge tous les environnements tout en permettant simultanément de personnaliser les options requises et souhaitées pour chaque environnement unique.
Un effort important a été investi pour garantir la prise en charge de tous les environnements, tout en permettant simultanément la personnalisation des options nécessaires et souhaitées pour chaque déploiement unique et respectif.

Le dépôt est principalement composé de deux éléments :

1. Modèles d'index Elasticsearch, modèles de composants, politiques ILM, paramètres et mappings
2. Script d'installation pour ce dépôt et les Ingest Pipelines OU Logstash Pipelines correspondants

Licence

Les fichiers et le script d'automatisation sont open-source sous licence BSD. Voir COPYING pour plus de détails.

Étapes d'installation

Veuillez lire toutes les sections avant d'exécuter le script.

1. Prérequis
2. Personnalisation
3. Installation
4. Post-installation

1. Prérequis

• Utiliser le script corelight_ecs.py de ce dépôt. L'installation manuelle des modèles et des pipelines n'est pas prise en charge car il y a des centaines de variables dans les fichiers qui sont remplacées par le script.
• Python 3.6 et plus
• Elasticsearch version 8.x et plus
• Si vous utilisez Logstash, alors une version Logstash 8.x ou supérieure, ou si vous êtes encore en version 7.x, alors 7.17 ou supérieure
• Stratégie d'indexation Datastream Elasticsearch

2. Personnalisation

La personnalisation des paramètres d'index, des mappings, des alias et des politiques ILM est encouragée. Par conséquent, le script est conçu pour prendre en charge de nombreux types de personnalisations (détaillés ci-dessous).
De nombreuses personnalisations ne seront pas nécessaires, mais il vaut mieux avoir l'option que de ne pas l'avoir. Il est toujours recommandé d'utiliser votre propre nombre de shards/réplicas et votre propre politique ILM, mais au-delà de cela, vous ne devriez pas avoir besoin de personnaliser beaucoup d'autres choses. Cependant, si vous personnalisez normalement de nombreux éléments dans les modèles d'index, les pipelines d'ingestion et les pipelines Logstash dans tous vos déploiements, vous en aurez toujours la possibilité.

• Noms d'index personnalisés
  le script vous le demandera et mettra automatiquement à jour tous les modèles, pipelines Logstash et/ou pipelines d'ingestion qui doivent être mis à jour
• Paramètres d'index
  • Nombre de shards
  • Nombre de réplicas
  • Remplacer d'autres paramètres d'index
  • Tout autre élément que vous jugez approprié dans le modèle de composant pour la partie paramètres
• Mappings d'index
  • Remplacer le mapping des champs d'index Elasticsearch
  • Tout autre élément que vous jugez approprié dans le modèle de composant pour la partie mappings
• Politiques ILM
  • Politique ILM personnalisée
• Alias d'index
  • Alias pour les index patterns, par exemple pour la rétrocompatibilité ou pour les désactiver
• Pipelines d'ingestion personnalisés
  • La possibilité d'appeler votre propre pipeline d'ingestion personnalisé avant que les pipelines d'ingestion Corelight soient appelés, sans modifier du tout les pipelines d'ingestion Corelight
  • La possibilité d'appeler votre propre pipeline d'ingestion personnalisé après que tous les pipelines d'ingestion Corelight ont été appelés, sans modifier du tout les pipelines d'ingestion Corelight
• Les pipelines Logstash personnalisés consistent simplement à créer un fichier avec un ordre alphanumérique inférieur et à le charger dans le même répertoire

Voir chaque section ci-dessous pour plus de détails.

Options d'index personnalisées

Noms d'index personnalisés

Le script vous demandera si vous souhaitez choisir des noms/modèles d'index personnalisés pour vos data streams. Cela vous permet de choisir votre propre convention de nommage des index. Par exemple, vous pourriez choisir :

• logs-corelight.conn-default
• ecs-corelight.conn-default
• call_it_what_you_will.conn-default
• logs-corelight.conn-remotesite1

Il mettra ensuite à jour tous les modèles d'index nécessaires ainsi que, si vous avez choisi les pipelines d'ingestion ou les pipelines Logstash. Il n'est pas recommandé de modifier les valeurs par défaut, car les logs Corelight sont désormais configurés pour fonctionner avec tous les autres types de données ECS et pour pouvoir être utilisés depuis une vue de données Kibana telle que logs-*

Pour les environnements multi-locataires tels que les MSSP/CSSP ou les différents réseaux, vous pouvez non seulement choisir la partie organisation du data stream dans les invites du script (qui est la partie default dans les 3 exemples ci-dessus), mais si vous définissez data_stream.namespace dans filebeat ou par une autre méthode ou en branchant les pipelines, alors les pipelines sont configurés pour respecter cette variable si elle est déjà définie et ne pas l'écraser. Assurez-vous simplement que votre namespace est défini sur une valeur qu'Elasticsearch autorise pour un nom d'index (erreur courante qui n'est parfois pas évidente).

Vous pouvez voir les index patterns utilisés dans le Google Sheet et la valeur par défaut pour chaque log. Il répertorie également des informations supplémentaires telles que event.category, event.kind, etc. pour chaque log.

Paramètres d'index personnalisés, c.-à-d. Shards et réplicas

Chaque modèle d'index est spécifié pour appeler un modèle de composant que vous pouvez utiliser pour remplacer les paramètres d'index. Par conséquent, vous n'avez pas besoin de modifier les modèles d'index du dépôt pour utiliser vos propres paramètres d'index.

Créez les modèles de composants suivants ou modifiez-les après l'installation. Les noms des modèles de composants que vous pouvez modifier sont :

pour couvrir tous les logs (répartis en 5 catégories) :

• corelight-ecs-component-metric_log-base-settings@custom
• corelight-ecs-component-parse_failures-base-settings@custom
• corelight-ecs-component-protocol_log-base-settings@custom
• corelight-ecs-component-system_log-base-settings@custom
• corelight-ecs-component-unknown_log-base-settings@custom