Panoramica

Questo repository contiene tutto il necessario per convertire i log Corelight o Zeek nello standard di denominazione Elastic Common Schema (ECS) e archiviarli in un deployment Elastic Stack. Rilasciato originariamente nel 2019, lo stesso anno dell'Elastic Common Schema, questo repository è ancora attivamente mantenuto e aggiornato.

Supporta oltre 200 log e metriche diversi ed è progettato per supportare tutti gli ambienti, consentendo al contempo di personalizzare le opzioni necessarie e desiderate per supportare ogni ambiente specifico.
È stato investito uno sforzo significativo per garantire il supporto in tutti gli ambienti, consentendo allo stesso tempo la personalizzazione delle opzioni necessarie e desiderate per adattarsi a ogni deployment unico e rispettivo.

Il repository è principalmente composto da due cose:

1. Modelli di indice Elasticsearch, component template, policy ILM, impostazioni e mappature
2. Script di installazione per questo repository e le corrispondenti Ingest Pipelines OPPURE Logstash Pipelines

Licenza

I file e lo script di automazione sono open-source sotto licenza BSD. Vedere COPYING per i dettagli.

Passaggi di installazione

Leggere tutte le sezioni prima di eseguire lo script.

1. Requisiti
2. Personalizzazione
3. Installazione
4. Post installazione

1. Requisiti

• Utilizzare lo script corelight_ecs.py da questo repository. L'installazione manuale dei modelli e delle pipeline non è supportata perché ci sono centinaia di variabili in tutti i file che vengono sostituite dallo script.
• Python 3.6 e versioni successive
• Elasticsearch versione 8.x e successive
• Se si utilizza Logstash, allora Logstash versione 8.x e successive oppure, se si è ancora sulla versione 7.x, dalla 7.17 in poi
• Strategia di indicizzazione Datastream di Elasticsearch

2. Personalizzazione

La personalizzazione di impostazioni degli indici, mappature, alias e policy ILM è incoraggiata. Pertanto, lo script è progettato per supportare molti tipi di personalizzazioni (dettagliate di seguito).
Molte personalizzazioni non saranno necessarie, ma è meglio avere l'opzione piuttosto che non averla. Si consiglia sempre di utilizzare il proprio numero di shard/repliche e la propria policy ILM, ma oltre a questo non dovresti aver bisogno di personalizzare molto altro. Tuttavia, se normalmente personalizzi molte cose nei modelli di indice, nelle pipeline di ingest e nelle pipeline Logstash in tutti i tuoi deployment, avrai comunque questa possibilità.

• Nomi personalizzati per gli indici
  lo script ti chiederà questo e aggiornerà automaticamente tutti i modelli, le pipeline Logstash e/o le pipeline di ingest che devono essere aggiornate
• Impostazioni degli indici
  • Numero di shard
  • Numero di repliche
  • Sovrascrivere altre impostazioni dell'indice
  • Qualsiasi altra cosa ritieni opportuna nel component template per la parte delle impostazioni
• Mappature degli indici
  • Sovrascrivere la mappatura dei campi dell'indice Elasticsearch
  • Qualsiasi altra cosa ritieni opportuna nel component template per la parte delle mappature
• Policy ILM personalizzate
  • Policy ILM personalizzata
• Alias personalizzati per gli indici
  • Alias per i pattern degli indici, ad esempio per la retrocompatibilità o per disabilitarli
• Pipeline di ingest personalizzate
  • La possibilità di chiamare una tua pipeline di ingest personalizzata prima che venga chiamata qualsiasi pipeline di ingest Corelight, senza modificare affatto le pipeline di ingest Corelight
  • La possibilità di chiamare una tua pipeline di ingest personalizzata dopo che tutte le pipeline di ingest Corelight sono state chiamate, senza modificare affatto le pipeline di ingest Corelight
• Le pipeline Logstash personalizzate sono semplicemente una questione di creare un file con un ordine alfanumerico inferiore e caricarlo nella stessa directory

Consulta ogni sezione di seguito per maggiori dettagli.

Opzioni personalizzate per gli indici

Nomi personalizzati per gli indici

Lo script ti chiederà se desideri scegliere nomi/pattern personalizzati per i tuoi data stream. Questo ti permette di scegliere la tua convenzione di denominazione degli indici. Ad esempio potresti scegliere:

• logs-corelight.conn-default
• ecs-corelight.conn-default
• call_it_what_you_will.conn-default
• logs-corelight.conn-remotesite1

Successivamente aggiornerà anche tutti i modelli di indice necessari se hai scelto pipeline di ingest o pipeline Logstash. Non è consigliato modificare i valori predefiniti, poiché i log Corelight sono ora configurati per funzionare con tutti gli altri tipi di dati ECS e per poter essere utilizzati da una vista dati Kibana come logs-*

Per ambienti multi-tenant come MSSP/CSSP o reti diverse, puoi non solo scegliere la parte relativa all'organizzazione del data stream nei prompt dello script (che è la parte default nei 3 esempi precedenti), ma se imposti data_stream.namespace in filebeat o con qualche altro metodo o hook nelle pipeline, allora le pipeline sono configurate per rispettare se quella variabile è già impostata e per non sovrascriverla. Assicurati solo che il tuo namespace sia impostato su un valore che Elasticsearch consente per un nome di indice (errore comune che a volte non è ovvio).

Puoi vedere i pattern degli indici utilizzati nel Google Sheet e il valore predefinito per ciascun log. Inoltre, elenca alcune informazioni aggiuntive come event.category, event.kind, ecc. per ogni log.

Impostazioni personalizzate degli indici, es.: shard e repliche

Ogni modello di indice è configurato per chiamare un component template che puoi utilizzare per sovrascrivere le impostazioni dell'indice. Pertanto non è necessario modificare i modelli di indice del repository per utilizzare le proprie impostazioni dell'indice.

Crea i seguenti component template o modificali dopo l'installazione. I nomi dei component template che puoi modificare sono:

per coprire tutti i log (divisi in 5 categorie):

• corelight-ecs-component-metric_log-base-settings@custom
• corelight-ecs-component-parse_failures-base-settings@custom
• corelight-ecs-component-protocol_log-base-settings@custom
• corelight-ecs-component-system_log-base-settings@custom
• corelight-ecs-component-unknown_log-base-settings@custom

per coprire i singoli log oltre a quelli sopra, che comunemente necessitano di impostazioni ancora più specifiche:

• corelight-ecs-component-protocol_log-conn-base-settings@custom
• corelight-ecs-component-protocol_log-dns-base-settings@custom
• corelight-ecs-component-protocol_log-files-base-settings@custom
• corelight-ecs-component-protocol_log-http-base-settings@custom
• corelight-ecs-component-protocol_log-smb-base-settings@custom
• corelight-ecs-component-protocol_log-smtp-base-settings@custom
• corelight-ecs-component-protocol_log-ssl-base-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-base-settings@custom
• corelight-ecs-component-protocol_log-syslog-base-settings@custom
• corelight-ecs-component-protocol_log-various-base-settings@custom
• corelight-ecs-component-protocol_log-weird-base-settings@custom
• corelight-ecs-component-protocol_log-x509-base-settings@custom

Personalizzazione delle mappature degli indici, es.: campi

Ogni modello di indice è configurato per chiamare un component template che puoi utilizzare per sovrascrivere le mappature dell'indice per elementi come tipi o nomi di campi. Pertanto non è necessario modificare i modelli di indice del repository per utilizzare le proprie mappature dell'indice.

Crea i seguenti component template o modificali dopo l'installazione. I nomi dei component template che puoi modificare sono:

per coprire tutti i log (divisi in 5 categorie):

• corelight-ecs-component-metric_log-mappings@custom
• corelight-ecs-component-parse_failures-mappings@custom
• corelight-ecs-component-protocol_log-mappings@custom
• corelight-ecs-component-system_log-mappings@custom
• corelight-ecs-component-unknown_log-mappings@custom

per coprire i singoli log oltre a quelli sopra, che comunemente necessitano di impostazioni ancora più specifiche:

• corelight-ecs-component-protocol_log-conn-mappings@custom
• corelight-ecs-component-protocol_log-dns-mappings@custom
• corelight-ecs-component-protocol_log-files-mappings@custom
• corelight-ecs-component-protocol_log-http-mappings@custom
• corelight-ecs-component-protocol_log-smb-mappings@custom
• corelight-ecs-component-protocol_log-smtp-mappings@custom
• corelight-ecs-component-protocol_log-ssl-mappings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-mappings@custom
• corelight-ecs-component-protocol_log-syslog-mappings@custom
• corelight-ecs-component-protocol_log-various-mappings@custom
• corelight-ecs-component-protocol_log-weird-mappings@custom
• corelight-ecs-component-protocol_log-x509-mappings@custom

Strategia personalizzata per le policy ILM

Ogni modello di indice è configurato per chiamare un component template che puoi utilizzare per sovrascrivere la policy ILM e impostare la propria conservazione dei dati. Pertanto non è necessario modificare i modelli di indice del repository per utilizzare la propria policy ILM.

Crea i seguenti component template o modificali dopo l'installazione. I nomi dei component template che puoi modificare sono:

per coprire tutti i log (divisi in 5 categorie):

• corelight-ecs-component-metric_log-ilm-settings@custom
• corelight-ecs-component-parse_failures-ilm-settings@custom
• corelight-ecs-component-protocol_log-ilm-settings@custom
• corelight-ecs-component-system_log-ilm-settings@custom
• corelight-ecs-component-unknown_log-ilm-settings@custom

questi copriranno i singoli log oltre a quelli sopra, che comunemente necessitano di impostazioni ancora più specifiche:

• corelight-ecs-component-protocol_log-conn-ilm-settings@custom
• corelight-ecs-component-protocol_log-dns-ilm-settings@custom
• corelight-ecs-component-protocol_log-files-ilm-settings@custom
• corelight-ecs-component-protocol_log-http-ilm-settings@custom
• corelight-ecs-component-protocol_log-smb-ilm-settings@custom
• corelight-ecs-component-protocol_log-smtp-ilm-settings@custom
• corelight-ecs-component-protocol_log-ssl-ilm-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-ilm-settings@custom
• corelight-ecs-component-protocol_log-syslog-ilm-settings@custom
• corelight-ecs-component-protocol_log-various-ilm-settings@custom
• corelight-ecs-component-protocol_log-weird-ilm-settings@custom
• corelight-ecs-component-protocol_log-x509-ilm-settings@custom

Alias personalizzati per gli indici

Ogni modello di indice è configurato per chiamare un component template che puoi utilizzare per sovrascrivere gli alias dell'indice. Pertanto non è necessario modificare i modelli di indice del repository per utilizzare i propri alias.

Crea i seguenti component template o modificali dopo l'installazione. I nomi dei component template che puoi modificare sono:

per coprire tutti i log (divisi in 5 categorie):

• corelight-ecs-component-metric_log-aliases@custom
• corelight-ecs-component-parse_failures-aliases@custom
• corelight-ecs-component-protocol_log-aliases@custom
• corelight-ecs-component-system_log-aliases@custom
• corelight-ecs-component-unknown_log-aliases@custom

questi copriranno i singoli log oltre a quelli sopra, che comunemente necessitano di impostazioni ancora più specifiche:

• corelight-ecs-component-protocol_log-conn-aliases@custom
• corelight-ecs-component-protocol_log-dns-aliases@custom
• corelight-ecs-component-protocol_log-files-aliases@custom
• corelight-ecs-component-protocol_log-http-aliases@custom
• corelight-ecs-component-protocol_log-smb-aliases@custom
• corelight-ecs-component-protocol_log-smtp-aliases@custom
• corelight-ecs-component-protocol_log-ssl-aliases@custom
• corelight-ecs-component-protocol_log-suricata_corelight-aliases@custom
• corelight-ecs-component-protocol_log-syslog-aliases@custom
• corelight-ecs-component-protocol_log-various-aliases@custom
• corelight-ecs-component-protocol_log-weird-aliases@custom
• corelight-ecs-component-protocol_log-x509-aliases@custom

Pipeline di ingest personalizzate

Pipeline di ingest iniziale personalizzata (catchall)

All'inizio delle pipeline di ingest, prima che venga chiamata qualsiasi pipeline Corelight, è presente una funzione che utilizza la pipeline di ingest denominata corelight-ecs-main-pipeline@custom. Puoi creare una pipeline di ingest con quel nome se ci sono operazioni che desideri eseguire prima che le pipeline Corelight vengano chiamate. Se non crei la pipeline, la funzione la salta silenziosamente; pertanto è facoltativa.

Pipeline di ingest finale personalizzata (catchall)

Alla fine delle pipeline di ingest, dopo che tutte le pipeline Corelight sono state chiamate, è presente una funzione che utilizza la pipeline di ingest denominata corelight-ecs-postprocess-final-main-pipeline@custom. Puoi creare una pipeline di ingest con quel nome se ci sono operazioni che desideri eseguire prima che le pipeline Corelight vengano chiamate. Se non crei la pipeline, la funzione la salta silenziosamente; pertanto è facoltativa.

Catchall personalizzato per gli errori di parsing all'inizio della pipeline di ingest

All'inizio del catchall on_failure delle pipeline di ingest per gli errori delle pipeline di ingest, prima che venga chiamata qualsiasi pipeline Corelight, è presente una funzione che utilizza la pipeline di ingest denominata corelight-ecs-parse_failures-pipeline@custom. Puoi creare una pipeline di ingest con quel nome se ci sono operazioni che desideri eseguire prima che le pipeline Corelight vengano chiamate. Se non crei la pipeline, la funzione la salta silenziosamente; pertanto è facoltativa.

Catchall personalizzato per gli errori di parsing alla fine della pipeline di ingest

Alla fine delle pipeline di ingest, dopo che tutte le pipeline Corelight sono state chiamate, è presente una funzione che utilizza la pipeline di ingest denominata corelight-ecs-postprocess-final-main-pipeline@custom. Puoi creare una pipeline di ingest con quel nome se ci sono operazioni che desideri eseguire prima che le pipeline Corelight vengano chiamate. Se non crei la pipeline, la funzione la salta silenziosamente; pertanto è facoltativa.

3. Installazione

Utilizzo dello script

git clone https://github.com/corelight/ecs-templates
cd ecs-templates
python3 corelight_ecs.py

Argomenti dello script

• --no-color: Disabilita i colori per il logging.
• --debug: Abilita il logging a livello di debug.
• --es-default-timeout=10: Modifica il timeout predefinito di attesa per la connessione a Elasticsearch.
• --es-default-retry=2: Modifica il numero predefinito di tentativi di connessione a Elasticsearch.
• --git-repository=corelight: Modifica il numero predefinito di tentativi di connessione a Elasticsearch.
• --git-branch=main: Modifica il numero predefinito di tentativi di connessione a Elasticsearch.

4. Post installazione

Logstash

Alcuni valori potrebbero dover essere modificati dopo l'installazione per adattarsi al proprio ambiente. Questo include elementi come un certificato CA personalizzato per la connessione a Elasticsearch, vari topic per Kafka e così via. Poiché ci sono oltre 20 opzioni nell'output Elasticsearch e oltre 60 opzioni su 5 input diversi, l'installer non fornisce, richiede e verifica la validità di tutte queste opzioni. Tuttavia, per aiutarti, lo script ti dirà quali file modificare. Inoltre, per chi utilizza la piena automazione di tutto, è stato fornito uno script di esempio per dimostrare che è possibile automatizzare il processo di modifica dei valori nei file dopo l'installazione e, contemporaneamente, decommentare le righe per le variabili utilizzate.

Personalizza i tuoi modelli

Vedi la sezione Personalizzazione per maggiori dettagli.

Configurazione del sensore Corelight - Elastic Exporter

• per utilizzare un pattern di indice solo per poter raggiungere le pipeline di ingest, ad esempio per l'appliance Corelight o per i test. Imposta il prefisso su temporary_corelight_routing_index
• Disabilita gli indici di sistema
• Abilita i Data Stream - A seconda della versione sarà una casella di spunta nell'exporter oppure nella configurazione avanzata puoi abilitare bro.export.elasticsearch.use_data_streams

Changelog WIP

vedi il file changelog.md per un changelog completo del repository.

Elenco delle cose da fare (WIP)

vedi il file todo.md per un elenco completo delle cose da fare per il repository.

Versionamento

Il versionamento di questo repository si basa sulla versione dell'Elastic Common Schema (ECS) che supporta. I campi vengono aggiunti a ogni log:

• labels.corelight.ecs_version
• labels.corelight.ecs_method
• labels.corelight.ecs_method_version

Definizioni dei repository GitHub

Modelli Elasticsearch (questo repository)

https://github.com/corelight/ecs-templates

• Modelli di indice Elasticsearch, component template, policy ILM, impostazioni e mappature
• Script di installazione

Pipeline Logstash

https://github.com/corelight/ecs-logstash-mappings

• Configurazioni delle pipeline Logstash

Pipeline di ingest

https://github.com/corelight/ecs-mapping

• Configurazioni delle pipeline di ingest

Dashboard e visualizzazioni Kibana

https://github.com/corelight/ecs-dashboards

Regole di sicurezza e avvisi Kibana

https://github.com/corelight/Elasticsearch_rules