Resumen

Este repositorio contiene todo lo necesario para convertir los logs de Corelight o Zeek al estándar de nomenclatura del Elastic Common Schema (ECS) y almacenarlos en un despliegue de Elastic Stack. Publicado originalmente en 2019, el mismo año que Elastic Common Schema, este repositorio sigue siendo mantenido y actualizado activamente.

Admite más de 200 logs y métricas diferentes y está diseñado para poder soportar todos los entornos, al mismo tiempo que permite personalizar las opciones necesarias y deseadas para cada entorno único.
Se ha realizado un esfuerzo significativo para garantizar la compatibilidad en todos los entornos, permitiendo al mismo tiempo la personalización de las opciones necesarias y deseadas para adaptarse a cada despliegue particular y respectivo.

El repositorio se compone principalmente de dos cosas:

1. Plantillas de índice de Elasticsearch, plantillas de componentes, políticas de ILM, ajustes y mapeos
2. Script de instalación para este repositorio y los Pipelines de ingestión o Pipelines de Logstash correspondientes

Licencia

Los archivos y el script de automatización son de código abierto bajo una licencia BSD. Consulte COPYING para más detalles.

Pasos de instalación

Por favor, lea todas las secciones antes de ejecutar el script.

1. Requisitos
2. Personalización
3. Instalación
4. Post-instalación

1. Requisitos

• Utilice el script corelight_ecs.py de este repositorio. No se admite la instalación manual de las plantillas y pipelines porque hay cientos de variables en todos los archivos que el script reemplaza.
• Python 3.6 y superior
• Elasticsearch versión 8.x y superior
• Si se usa Logstash, Logstash versión 8.x y superior, o si aún se encuentra en la versión 7.x, 7.17 y superior
• Estrategia de indexación de Data Streams de Elasticsearch

2. Personalización

Se recomienda personalizar los ajustes de índice, mapeos, aliases y políticas de ILM. Por lo tanto, el script está diseñado para admitir muchos tipos de personalizaciones (detalladas a continuación).
Muchas personalizaciones no serán necesarias, pero es mejor tener la opción que no tenerla. Siempre se recomienda utilizar su propio número de shards/réplicas y su propia política de ILM, pero más allá de eso no debería necesitar personalizar mucho más. Sin embargo, si normalmente personaliza muchas cosas en las plantillas de índice, pipelines de ingestión y pipelines de Logstash en todos sus despliegues, aún tendrá la capacidad de hacerlo.

• Nombres de índice personalizados
  el script le pedirá esto y actualizará automáticamente cualquier plantilla, pipeline de Logstash y/o pipeline de ingestión que necesite actualizarse
• Ajustes de índice
  • Número de shards
  • Número de réplicas
  • Sobrescribir otros ajustes de índice
  • Cualquier otra cosa que considere adecuada en la plantilla de componentes para la parte de ajustes
• Mapeos de índice
  • Sobrescribir el mapeo de campos del índice de Elasticsearch
  • Cualquier otra cosa que considere adecuada en la plantilla de componentes para la parte de mapeos
• Políticas de ILM
  • Política de ILM personalizada
• Aliases de índice
  • Aliases para los patrones de índice, como para compatibilidad hacia atrás o para deshabilitarlos
• Pipelines de ingestión personalizados
  • La capacidad de llamar a su propio pipeline de ingestión personalizado antes de que se llame a cualquier pipeline de ingestión de Corelight y sin modificar los pipelines de ingestión de Corelight en absoluto
  • La capacidad de llamar a su propio pipeline de ingestión personalizado después de que se llame a todos los pipelines de ingestión de Corelight y sin modificar los pipelines de ingestión de Corelight en absoluto
• Los pipelines de Logstash personalizados son solo cuestión de crear un archivo con un orden alfanumérico inferior y cargarlo en el mismo directorio

Consulte cada sección a continuación para obtener más detalles.

Opciones de índice personalizadas

Nombres de índice personalizados

El script le preguntará si desea elegir nombres/patrones de índice personalizados para sus data streams. Esto le permite elegir su propia convención de nomenclatura de índices. Por ejemplo, podría elegir:

• logs-corelight.conn-default
• ecs-corelight.conn-default
• call_it_what_you_will.conn-default
• logs-corelight.conn-remotesite1

Luego actualizará también todas las plantillas de índice necesarias, así como los pipelines de ingestión o pipelines de Logstash que haya elegido. No se recomienda cambiar los valores predeterminados, ya que los logs de Corelight ahora están configurados para funcionar con todos los demás tipos de datos ECS y poder utilizarse desde una vista de datos de Kibana como logs-*

Para entornos multiinquilino como MSSPs/CSSPs o diferentes redes, no solo puede elegir la parte de organización del data stream en las indicaciones del script (que es la parte default en los 3 ejemplos anteriores), sino que, si establece data_stream.namespace en filebeat u otro método o engancha los pipelines, estos están configurados para respetar si esa variable ya está definida y no sobrescribirla. Solo asegúrese de que su namespace esté configurado con un valor que Elasticsearch permita como nombre de índice (un error común que a veces no es evidente).

Puede ver los patrones de índice que se utilizan en la Google Sheet y el valor predeterminado para cada log. También enumera información adicional como event.category, event.kind, etc. para cada log.

Ajustes de índice personalizados (shards y réplicas)

Cada plantilla de índice está configurada para llamar a una plantilla de componentes que puede utilizar para sobrescribir los ajustes de índice. Por lo tanto, no necesita modificar las plantillas de índice del repositorio para utilizar sus propios ajustes de índice.

Cree las siguientes plantillas de componentes o modifíquelas después de la instalación. Los nombres de las plantillas de componentes que puede modificar son:

para cubrir todos los logs (divididos en 5 categorías):

• corelight-ecs-component-metric_log-base-settings@custom
• corelight-ecs-component-parse_failures-base-settings@custom
• corelight-ecs-component-protocol_log-base-settings@custom
• corelight-ecs-component-system_log-base-settings@custom
• corelight-ecs-component-unknown_log-base-settings@custom

para cubrir logs individuales más allá de los anteriores, que comúnmente necesitan sus propios ajustes para ser aún más específicos:

• corelight-ecs-component-protocol_log-conn-base-settings@custom
• corelight-ecs-component-protocol_log-dns-base-settings@custom
• corelight-ecs-component-protocol_log-files-base-settings@custom
• corelight-ecs-component-protocol_log-http-base-settings@custom
• corelight-ecs-component-protocol_log-smb-base-settings@custom
• corelight-ecs-component-protocol_log-smtp-base-settings@custom
• corelight-ecs-component-protocol_log-ssl-base-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-base-settings@custom
• corelight-ecs-component-protocol_log-syslog-base-settings@custom
• corelight-ecs-component-protocol_log-various-base-settings@custom

Personalización de los mapeos de índice (campos)

Cada plantilla de índice está configurada para llamar a una plantilla de componentes que puede utilizar para sobrescribir los mapeos de índice, por ejemplo, tipos o nombres de campos. Por lo tanto, no necesita modificar las plantillas de índice del repositorio para utilizar sus propios mapeos de índice.

Cree las siguientes plantillas de componentes o modifíquelas después de la instalación. Los nombres de las plantillas de componentes que puede modificar son:

para cubrir todos los logs (divididos en 5 categorías):

• corelight-ecs-component-metric_log-mappings@custom
• corelight-ecs-component-parse_failures-mappings@custom
• corelight-ecs-component-protocol_log-mappings@custom
• corelight-ecs-component-system_log-mappings@custom
• corelight-ecs-component-unknown_log-mappings@custom

para cubrir logs individuales más allá de los anteriores, que comúnmente necesitan sus propios ajustes para ser aún más específicos:

• corelight-ecs-component-protocol_log-conn-mappings@custom
• corelight-ecs-component-protocol_log-dns-mappings@custom
• corelight-ecs-component-protocol_log-files-mappings@custom
• corelight-ecs-component-protocol_log-http-mappings@custom
• corelight-ecs-component-protocol_log-smb-mappings@custom
• corelight-ecs-component-protocol_log-smtp-mappings@custom
• corelight-ecs-component-protocol_log-ssl-mappings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-mappings@custom
• corelight-ecs-component-protocol_log-syslog-mappings@custom
• corelight-ecs-component-protocol_log-various-mappings@custom

Estrategia de política de ILM personalizada

Cada plantilla de índice está configurada para llamar a una plantilla de componentes que puede utilizar para sobrescribir la política de ILM y establecer su propia retención. Por lo tanto, no necesita modificar las plantillas de índice del repositorio para utilizar su propia política de ILM.

Cree las siguientes plantillas de componentes o modifíquelas después de la instalación. Los nombres de las plantillas de componentes que puede modificar son:

para cubrir todos los logs (divididos en 5 categorías):

• corelight-ecs-component-metric_log-ilm-settings@custom
• corelight-ecs-component-parse_failures-ilm-settings@custom
• corelight-ecs-component-protocol_log-ilm-settings@custom
• corelight-ecs-component-system_log-ilm-settings@custom
• corelight-ecs-component-unknown_log-ilm-settings@custom

estas cubrirán logs individuales más allá de los anteriores, que comúnmente necesitan sus propios ajustes para ser aún más específicos:

• corelight-ecs-component-protocol_log-conn-ilm-settings@custom
• corelight-ecs-component-protocol_log-dns-ilm-settings@custom
• corelight-ecs-component-protocol_log-files-ilm-settings@custom
• corelight-ecs-component-protocol_log-http-ilm-settings@custom
• corelight-ecs-component-protocol_log-smb-ilm-settings@custom
• corelight-ecs-component-protocol_log-smtp-ilm-settings@custom
• corelight-ecs-component-protocol_log-ssl-ilm-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-ilm-settings@custom
• corelight-ecs-component-protocol_log-syslog-ilm-settings@custom
• corelight-ecs-component-protocol_log-various-ilm-settings@custom

Aliases de índice personalizados

Cada plantilla de índice está configurada para llamar a una plantilla de componentes que puede utilizar para sobrescribir los aliases de índice. Por lo tanto, no necesita modificar las plantillas de índice del repositorio para utilizar sus propios aliases.

Cree las siguientes plantillas de componentes o modifíquelas después de la instalación. Los nombres de las plantillas de componentes que puede modificar son:

para cubrir todos los logs (divididos en 5 categorías):

• corelight-ecs-component-metric_log-aliases@custom
• corelight-ecs-component-parse_failures-aliases@custom
• corelight-ecs-component-protocol_log-aliases@custom
• corelight-ecs-component-system_log-aliases@custom
• corelight-ecs-component-unknown_log-aliases@custom

estas cubrirán logs individuales más allá de los anteriores, que comúnmente necesitan sus propios ajustes para ser aún más específicos:

• corelight-ecs-component-protocol_log-conn-aliases@custom
• corelight-ecs-component-protocol_log-dns-aliases@custom
• corelight-ecs-component-protocol_log-files-aliases@custom
• corelight-ecs-component-protocol_log-http-aliases@custom
• corelight-ecs-component-protocol_log-smb-aliases@custom
• corelight-ecs-component-protocol_log-smtp-aliases@custom
• corelight-ecs-component-protocol_log-ssl-aliases@custom
• corelight-ecs-component-protocol_log-suricata_corelight-aliases@custom
• corelight-ecs-component-protocol_log-syslog-aliases@custom
• corelight-ecs-component-protocol_log-various-aliases@custom

Pipelines de ingestión personalizados

Catchall de pipeline de ingestión inicial personalizado

Al inicio de los pipelines de ingestión, antes de que se llame a cualquier pipeline de Corelight, hay una función para usar el pipeline de ingestión llamado corelight-ecs-main-pipeline@custom. Puede crear un pipeline de ingestión con ese nombre si hay cosas que desee hacer antes de que se llamen a los pipelines de Corelight. Si no crea el pipeline, la función lo omite silenciosamente, por lo que es opcional.

Catchall de pipeline de ingestión final personalizado

Al final de los pipelines de ingestión, después de que se llame a todos los pipelines de Corelight, hay una función para usar el pipeline de ingestión llamado corelight-ecs-postprocess-final-main-pipeline@custom. Puede crear un pipeline de ingestión con ese nombre si hay cosas que desee hacer antes de que se llamen a los pipelines de Corelight. Si no crea el pipeline, la función lo omite silenciosamente, por lo que es opcional.

Catchall de fallo de parseo de pipeline de ingestión inicial personalizado

Al inicio del catchall de on_failure de los pipelines de ingestión para fallos de pipeline de ingestión, antes de que se llame a cualquier pipeline de Corelight, hay una función para usar el pipeline de ingestión llamado corelight-ecs-parse_failures-pipeline@custom. Puede crear un pipeline de ingestión con ese nombre si hay cosas que desee hacer antes de que se llamen a los pipelines de Corelight. Si no crea el pipeline, la función lo omite silenciosamente, por lo que es opcional.

Catchall de fallo de parseo de pipeline de ingestión final personalizado

Al final de los pipelines de ingestión, después de que se llame a todos los pipelines de Corelight, hay una función para usar el pipeline de ingestión llamado corelight-ecs-postprocess-final-main-pipeline@custom. Puede crear un pipeline de ingestión con ese nombre si hay cosas que desee hacer antes de que se llamen a los pipelines de Corelight. Si no crea el pipeline, la función lo omite silenciosamente, por lo que es opcional.

3. Instalación

Uso del script

git clone https://github.com/corelight/ecs-templates
cd ecs-templates
python3 corelight_ecs.py

Argumentos del script

• --no-color: Deshabilita los colores para el registro.
• --debug: Habilita el registro a nivel de depuración.
• --es-default-timeout=10: Cambia el tiempo de espera predeterminado para la conexión con Elasticsearch.
• --es-default-retry=2: Cambia el número predeterminado de veces que se reintenta la conexión con Elasticsearch.
• --git-repository=corelight: Cambia el número predeterminado de veces que se reintenta la conexión con Elasticsearch.
• --git-branch=main: Cambia el número predeterminado de veces que se reintenta la conexión con Elasticsearch.

4. Post-instalación

Logstash

Ciertos valores pueden necesitar cambios después de la instalación para adaptarse a su entorno. Esto incluiría cosas como una autoridad de certificación personalizada para la conexión con Elasticsearch, varios temas de Kafka, etc. Debido a que hay más de 20 opciones en la salida de Elasticsearch y más de 60 opciones en 5 entradas diferentes, el instalador no proporciona, solicita ni verifica la validez de todas ellas. Sin embargo, para ayudarle, el script le indicará qué archivos modificar. Además, para quienes utilizan la automatización completa de todo, se ha proporcionado un script de ejemplo para demostrar que es posible automatizar el proceso de cambio de los valores en los archivos después de la instalación y, simultáneamente, descomentar las líneas de las variables que se utilizan.

Personalice sus plantillas

Consulte la sección Personalización para obtener más detalles.

Configuración del sensor Corelight - Elastic Exporter

• para usar un patrón de índice solo para poder alcanzar los pipelines de ingestión, como para una appliance de Corelight o pruebas. Establezca el prefijo en temporary_corelight_routing_index
• Deshabilite los índices de sistema
• Habilite los Data Streams: según la versión, será una casilla de verificación en el exporter o en la Configuración avanzada puede habilitar bro.export.elasticsearch.use_data_streams

Registro de cambios (WIP)

consulte el archivo changelog.md para ver el registro de cambios completo del repositorio.

Lista de tareas pendientes (WIP)

consulte el archivo todo.md para ver la lista completa de tareas pendientes del repositorio.

Control de versiones

El control de versiones de este repositorio se basa en la versión del Elastic Common Schema (ECS) que soporta. Se añaden campos a cada log:

• labels.corelight.ecs_version
• labels.corelight.ecs_method
• labels.corelight.ecs_method_version

Definiciones de repositorios en GitHub

Plantillas de Elasticsearch (este repositorio)

https://github.com/corelight/ecs-templates

• Plantillas de índice de Elasticsearch, plantillas de componentes, políticas de ILM, ajustes y mapeos
• Script de instalación

Pipelines de Logstash

https://github.com/corelight/ecs-logstash-mappings

• Configuraciones de pipelines de Logstash

Pipelines de ingestión

https://github.com/corelight/ecs-mapping

• Configuraciones de pipelines de ingestión

Dashboards y visualizaciones de Kibana

https://github.com/corelight/ecs-dashboards

Reglas y alertas de seguridad de Kibana

https://github.com/corelight/Elasticsearch_rules