Visão Geral

Este repositório contém tudo o que é necessário para converter logs do Corelight ou Zeek para o padrão de nomenclatura Elastic Common Schema (ECS) e armazená-los em uma implantação Elastic Stack. Lançado originalmente em 2019, no mesmo ano do Elastic Common Schema, este repositório ainda é mantido e atualizado ativamente.

Suporta mais de 200 logs e métricas diferentes e foi projetado para suportar todos os ambientes, ao mesmo tempo em que permite personalizar as opções necessárias e desejadas para cada ambiente específico.
Esforço significativo foi investido para garantir suporte em todos os ambientes, ao mesmo tempo em que permite a personalização das opções necessárias e desejadas para cada implantação única e respectiva.

O repositório é composto principalmente de duas coisas:

1. Modelos de índice Elasticsearch, modelos de componentes, políticas ILM, configurações e mapeamentos
2. Script de instalação para este repositório e os correspondentes Ingest Pipelines OU Logstash Pipelines

Licença

Os arquivos e o script de automação são open-source sob uma licença BSD. Consulte COPYING para detalhes.

Etapas de Instalação

Leia todas as seções antes de executar o script.

1. Requisitos
2. Personalização
3. Instalação
4. Pós-instalação

1. Requisitos

• Usar o script corelight_ecs.py deste repositório. Não é suportado instalar manualmente os modelos e pipelines, porque há centenas de variáveis nos arquivos que são substituídas pelo script.
• Python 3.6 e superior
• Elasticsearch versão 8.x e superior
• Se estiver usando Logstash, então Logstash versão 8.x e superior ou, se ainda estiver na versão 7.x, então 7.17 e superior
• Estratégia de indexação de data streams do Elasticsearch

2. Personalização

A personalização de Configurações de Índice, Mapeamentos, Aliases e Políticas ILM é incentivada. Portanto, o script foi projetado para suportar muitos tipos de personalizações (detalhadas abaixo).
Muitas personalizações não serão necessárias, mas é melhor ter a opção do que não ter. Sempre é recomendado usar seu próprio número de shards/réplicas e política ILM, mas além disso você não deve precisar personalizar muito mais. No entanto, se você normalmente personaliza muitas coisas nos modelos de índice, pipelines de ingestão e pipelines logstash em todas as suas implantações, ainda terá essa capacidade.

• Nomes de índice personalizados
  o script solicitará isso e atualizará automaticamente todos os modelos, pipelines logstash e/ou pipelines de ingestão que precisarem ser atualizados
• Configurações de índice
  • Número de shards
  • Número de réplicas
  • Substituir outras configurações de índice
  • Qualquer outra coisa que você considerar adequada no modelo de componente para a parte de configurações
• Mapeamentos de índice
  • Substituir mapeamento de campos do índice Elasticsearch
  • Qualquer outra coisa que você considerar adequada no modelo de componente para a parte de mapeamentos
• Políticas ILM
  • Política ILM personalizada
• Aliases de índice
  • Aliases para os padrões de índice, como para compatibilidade reversa ou para desativá-los
• Pipelines de ingestão personalizados
  • A capacidade de chamar seu próprio pipeline de ingestão personalizado antes que qualquer pipeline de ingestão Corelight seja chamado e sem modificar os pipelines de ingestão Corelight
  • A capacidade de chamar seu próprio pipeline de ingestão personalizado depois que todos os pipelines de ingestão Corelight forem chamados e sem modificar os pipelines de ingestão Corelight
• Pipelines logstash personalizados são apenas uma questão de criar um arquivo com uma ordem alfanumérica inferior e carregá-lo no mesmo diretório

Consulte cada seção abaixo para mais detalhes.

Opções Personalizadas de Índice

Nomes de Índice Personalizados

O script perguntará se você gostaria de escolher nomes/padrões de índice personalizados para seus data streams. Isso permite que você escolha sua própria convenção de nomenclatura de índice. Por exemplo, você poderia escolher:

• logs-corelight.conn-default
• ecs-corelight.conn-default
• call_it_what_you_will.conn-default
• logs-corelight.conn-remotesite1

Em seguida, ele atualizará todos os modelos de índice necessários, bem como se você escolher pipelines de ingestão ou pipelines logstash. Não é recomendado alterar os padrões, pois os logs Corelight agora estão configurados para funcionar com todos os outros tipos de dados ECS e poderem ser usados em uma data view do Kibana, como logs-*

Para ambientes multi-tenant, como MSSPs/CSSPs ou redes diferentes, você pode não apenas escolher a parte da organização do data stream nos prompts do script (que é a parte default nos 3 exemplos acima), porém, se você definir data_stream.namespace no filebeat ou algum outro método ou conectar os pipelines, então os pipelines estão configurados para respeitar se essa variável já estiver definida, para não substituí-la. Apenas certifique-se de que seu namespace esteja definido com um valor que o Elasticsearch permita para um nome de índice (erro comum que às vezes não é óbvio).

Você pode ver os padrões de índice usados no Google Sheet e o padrão para cada log. Além disso, lista algumas informações adicionais, como event.category, event.kind, etc., para cada log.

Configurações Personalizadas de Índice, ex.: Shards e Réplicas

Cada modelo de índice é especificado para chamar um modelo de componente que você pode usar para substituir as Configurações de Índice. Portanto, você não precisa modificar os modelos de índice do repositório para usar suas próprias Configurações de Índice.

Crie os seguintes modelos de componente ou modifique-os após a instalação. Os nomes dos modelos de componente que você pode modificar são:

para cobrir todos os logs (divididos em 5 categorias):

• corelight-ecs-component-metric_log-base-settings@custom
• corelight-ecs-component-parse_failures-base-settings@custom
• corelight-ecs-component-protocol_log-base-settings@custom
• corelight-ecs-component-system_log-base-settings@custom
• corelight-ecs-component-unknown_log-base-settings@custom

para cobrir logs individuais além dos acima, que comumente precisam de suas próprias configurações para serem ainda mais específicos:

• corelight-ecs-component-protocol_log-conn-base-settings@custom
• corelight-ecs-component-protocol_log-dns-base-settings@custom
• corelight-ecs-component-protocol_log-files-base-settings@custom
• corelight-ecs-component-protocol_log-http-base-settings@custom
• corelight-ecs-component-protocol_log-smb-base-settings@custom
• corelight-ecs-component-protocol_log-smtp-base-settings@custom
• corelight-ecs-component-protocol_log-ssl-base-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-base-settings@custom
• corelight-ecs-component-protocol_log-syslog-base-settings@custom
• corelight-ecs-component-protocol_log-various-base-settings@custom
• corelight-ecs-component-protocol_log-weird-base-settings@custom
• corelight-ecs-component-protocol_log-x509-base-settings@custom