Resumen

Este repositorio contiene todo lo necesario para convertir los logs de Corelight o Zeek al estándar de nomenclatura del Elastic Common Schema (ECS) y almacenarlos en un despliegue de Elastic Stack. Publicado originalmente en 2019, el mismo año que Elastic Common Schema, este repositorio sigue siendo mantenido y actualizado activamente.

Admite más de 200 logs y métricas diferentes y está diseñado para poder soportar todos los entornos, al mismo tiempo que permite personalizar las opciones necesarias y deseadas para cada entorno único.
Se ha realizado un esfuerzo significativo para garantizar la compatibilidad en todos los entornos, permitiendo al mismo tiempo la personalización de las opciones necesarias y deseadas para adaptarse a cada despliegue particular y respectivo.

El repositorio se compone principalmente de dos cosas:

1. Plantillas de índice de Elasticsearch, plantillas de componentes, políticas de ILM, ajustes y mapeos
2. Script de instalación para este repositorio y los Pipelines de ingestión o Pipelines de Logstash correspondientes

Licencia

Los archivos y el script de automatización son de código abierto bajo una licencia BSD. Consulte COPYING para más detalles.

Pasos de instalación

Por favor, lea todas las secciones antes de ejecutar el script.

1. Requisitos
2. Personalización
3. Instalación
4. Post-instalación

1. Requisitos

• Utilice el script corelight_ecs.py de este repositorio. No se admite la instalación manual de las plantillas y pipelines porque hay cientos de variables en todos los archivos que el script reemplaza.
• Python 3.6 y superior
• Elasticsearch versión 8.x y superior
• Si se usa Logstash, Logstash versión 8.x y superior, o si aún se encuentra en la versión 7.x, 7.17 y superior
• Estrategia de indexación de Data Streams de Elasticsearch

2. Personalización

Se recomienda personalizar los ajustes de índice, mapeos, aliases y políticas de ILM. Por lo tanto, el script está diseñado para admitir muchos tipos de personalizaciones (detalladas a continuación).
Muchas personalizaciones no serán necesarias, pero es mejor tener la opción que no tenerla. Siempre se recomienda utilizar su propio número de shards/réplicas y su propia política de ILM, pero más allá de eso no debería necesitar personalizar mucho más. Sin embargo, si normalmente personaliza muchas cosas en las plantillas de índice, pipelines de ingestión y pipelines de Logstash en todos sus despliegues, aún tendrá la capacidad de hacerlo.

• Nombres de índice personalizados
  el script le pedirá esto y actualizará automáticamente cualquier plantilla, pipeline de Logstash y/o pipeline de ingestión que necesite actualizarse
• Ajustes de índice
  • Número de shards
  • Número de réplicas
  • Sobrescribir otros ajustes de índice
  • Cualquier otra cosa que considere adecuada en la plantilla de componentes para la parte de ajustes
• Mapeos de índice
  • Sobrescribir el mapeo de campos del índice de Elasticsearch
  • Cualquier otra cosa que considere adecuada en la plantilla de componentes para la parte de mapeos
• Políticas de ILM
  • Política de ILM personalizada
• Aliases de índice
  • Aliases para los patrones de índice, como para compatibilidad hacia atrás o para deshabilitarlos
• Pipelines de ingestión personalizados
  • La capacidad de llamar a su propio pipeline de ingestión personalizado antes de que se llame a cualquier pipeline de ingestión de Corelight y sin modificar los pipelines de ingestión de Corelight en absoluto
  • La capacidad de llamar a su propio pipeline de ingestión personalizado después de que se llame a todos los pipelines de ingestión de Corelight y sin modificar los pipelines de ingestión de Corelight en absoluto
• Los pipelines de Logstash personalizados son solo cuestión de crear un archivo con un orden alfanumérico inferior y cargarlo en el mismo directorio

Consulte cada sección a continuación para obtener más detalles.

Opciones de índice personalizadas

Nombres de índice personalizados

El script le preguntará si desea elegir nombres/patrones de índice personalizados para sus data streams. Esto le permite elegir su propia convención de nomenclatura de índices. Por ejemplo, podría elegir:

• logs-corelight.conn-default
• ecs-corelight.conn-default
• call_it_what_you_will.conn-default
• logs-corelight.conn-remotesite1

Luego actualizará también todas las plantillas de índice necesarias, así como los pipelines de ingestión o pipelines de Logstash que haya elegido. No se recomienda cambiar los valores predeterminados, ya que los logs de Corelight ahora están configurados para funcionar con todos los demás tipos de datos ECS y poder utilizarse desde una vista de datos de Kibana como logs-*

Para entornos multiinquilino como MSSPs/CSSPs o diferentes redes, no solo puede elegir la parte de organización del data stream en las indicaciones del script (que es la parte default en los 3 ejemplos anteriores), sino que, si establece data_stream.namespace en filebeat u otro método o engancha los pipelines, estos están configurados para respetar si esa variable ya está definida y no sobrescribirla. Solo asegúrese de que su namespace esté configurado con un valor que Elasticsearch permita como nombre de índice (un error común que a veces no es evidente).

Puede ver los patrones de índice que se utilizan en la Google Sheet y el valor predeterminado para cada log. También enumera información adicional como event.category, event.kind, etc. para cada log.

Ajustes de índice personalizados (shards y réplicas)

Cada plantilla de índice está configurada para llamar a una plantilla de componentes que puede utilizar para sobrescribir los ajustes de índice. Por lo tanto, no necesita modificar las plantillas de índice del repositorio para utilizar sus propios ajustes de índice.

Cree las siguientes plantillas de componentes o modifíquelas después de la instalación. Los nombres de las plantillas de componentes que puede modificar son:

para cubrir todos los logs (divididos en 5 categorías):

• corelight-ecs-component-metric_log-base-settings@custom
• corelight-ecs-component-parse_failures-base-settings@custom
• corelight-ecs-component-protocol_log-base-settings@custom
• corelight-ecs-component-system_log-base-settings@custom
• corelight-ecs-component-unknown_log-base-settings@custom