Panoramica

Questo repository contiene tutto il necessario per convertire i log Corelight o Zeek nello standard di denominazione Elastic Common Schema (ECS) e archiviarli in un deployment Elastic Stack. Rilasciato originariamente nel 2019, lo stesso anno dell'Elastic Common Schema, questo repository è ancora attivamente mantenuto e aggiornato.

Supporta oltre 200 log e metriche diversi ed è progettato per supportare tutti gli ambienti, consentendo al contempo di personalizzare le opzioni necessarie e desiderate per supportare ogni ambiente specifico.
È stato investito uno sforzo significativo per garantire il supporto in tutti gli ambienti, consentendo allo stesso tempo la personalizzazione delle opzioni necessarie e desiderate per adattarsi a ogni deployment unico e rispettivo.

Il repository è principalmente composto da due cose:

1. Modelli di indice Elasticsearch, component template, policy ILM, impostazioni e mappature
2. Script di installazione per questo repository e le corrispondenti Ingest Pipelines OPPURE Logstash Pipelines

Licenza

I file e lo script di automazione sono open-source sotto licenza BSD. Vedere COPYING per i dettagli.

Passaggi di installazione

Leggere tutte le sezioni prima di eseguire lo script.

1. Requisiti
2. Personalizzazione
3. Installazione
4. Post installazione

1. Requisiti

• Utilizzare lo script corelight_ecs.py da questo repository. L'installazione manuale dei modelli e delle pipeline non è supportata perché ci sono centinaia di variabili in tutti i file che vengono sostituite dallo script.
• Python 3.6 e versioni successive
• Elasticsearch versione 8.x e successive
• Se si utilizza Logstash, allora Logstash versione 8.x e successive oppure, se si è ancora sulla versione 7.x, dalla 7.17 in poi
• Strategia di indicizzazione Datastream di Elasticsearch

2. Personalizzazione

La personalizzazione di impostazioni degli indici, mappature, alias e policy ILM è incoraggiata. Pertanto, lo script è progettato per supportare molti tipi di personalizzazioni (dettagliate di seguito).
Molte personalizzazioni non saranno necessarie, ma è meglio avere l'opzione piuttosto che non averla. Si consiglia sempre di utilizzare il proprio numero di shard/repliche e la propria policy ILM, ma oltre a questo non dovresti aver bisogno di personalizzare molto altro. Tuttavia, se normalmente personalizzi molte cose nei modelli di indice, nelle pipeline di ingest e nelle pipeline Logstash in tutti i tuoi deployment, avrai comunque questa possibilità.

• Nomi personalizzati per gli indici
  lo script ti chiederà questo e aggiornerà automaticamente tutti i modelli, le pipeline Logstash e/o le pipeline di ingest che devono essere aggiornate
• Impostazioni degli indici
  • Numero di shard
  • Numero di repliche
  • Sovrascrivere altre impostazioni dell'indice
  • Qualsiasi altra cosa ritieni opportuna nel component template per la parte delle impostazioni
• Mappature degli indici
  • Sovrascrivere la mappatura dei campi dell'indice Elasticsearch
  • Qualsiasi altra cosa ritieni opportuna nel component template per la parte delle mappature
• Policy ILM personalizzate
  • Policy ILM personalizzata
• Alias personalizzati per gli indici
  • Alias per i pattern degli indici, ad esempio per la retrocompatibilità o per disabilitarli
• Pipeline di ingest personalizzate
  • La possibilità di chiamare una tua pipeline di ingest personalizzata prima che venga chiamata qualsiasi pipeline di ingest Corelight, senza modificare affatto le pipeline di ingest Corelight
  • La possibilità di chiamare una tua pipeline di ingest personalizzata dopo che tutte le pipeline di ingest Corelight sono state chiamate, senza modificare affatto le pipeline di ingest Corelight
• Le pipeline Logstash personalizzate sono semplicemente una questione di creare un file con un ordine alfanumerico inferiore e caricarlo nella stessa directory

Consulta ogni sezione di seguito per maggiori dettagli.

Opzioni personalizzate per gli indici

Nomi personalizzati per gli indici

Lo script ti chiederà se desideri scegliere nomi/pattern personalizzati per i tuoi data stream. Questo ti permette di scegliere la tua convenzione di denominazione degli indici. Ad esempio potresti scegliere:

• logs-corelight.conn-default
• ecs-corelight.conn-default
• call_it_what_you_will.conn-default
• logs-corelight.conn-remotesite1

Successivamente aggiornerà anche tutti i modelli di indice necessari se hai scelto pipeline di ingest o pipeline Logstash. Non è consigliato modificare i valori predefiniti, poiché i log Corelight sono ora configurati per funzionare con tutti gli altri tipi di dati ECS e per poter essere utilizzati da una vista dati Kibana come logs-*

Per ambienti multi-tenant come MSSP/CSSP o reti diverse, puoi non solo scegliere la parte relativa all'organizzazione del data stream nei prompt dello script (che è la parte default nei 3 esempi precedenti), ma se imposti data_stream.namespace in filebeat o con qualche altro metodo o hook nelle pipeline, allora le pipeline sono configurate per rispettare se quella variabile è già impostata e per non sovrascriverla. Assicurati solo che il tuo namespace sia impostato su un valore che Elasticsearch consente per un nome di indice (errore comune che a volte non è ovvio).

Puoi vedere i pattern degli indici utilizzati nel Google Sheet e il valore predefinito per ciascun log. Inoltre, elenca alcune informazioni aggiuntive come event.category, event.kind, ecc. per ogni log.

Impostazioni personalizzate degli indici, es.: shard e repliche

Ogni modello di indice è configurato per chiamare un component template che puoi utilizzare per sovrascrivere le impostazioni dell'indice. Pertanto non è necessario modificare i modelli di indice del repository per utilizzare le proprie impostazioni dell'indice.

Crea i seguenti component template o modificali dopo l'installazione. I nomi dei component template che puoi modificare sono:

per coprire tutti i log (divisi in 5 categorie):

• corelight-ecs-component-metric_log-base-settings@custom
• corelight-ecs-component-parse_failures-base-settings@custom
• corelight-ecs-component-protocol_log-base-settings@custom
• corelight-ecs-component-system_log-base-settings@custom
• corelight-ecs-component-unknown_log-base-settings@custom

per coprire i singoli log oltre a quelli sopra, che comunemente necessitano di impostazioni ancora più specifiche:

• corelight-ecs-component-protocol_log-conn-base-settings@custom
• corelight-ecs-component-protocol_log-dns-base-settings@custom
• corelight-ecs-component-protocol_log-files-base-settings@custom
• corelight-ecs-component-protocol_log-http-base-settings@custom
• corelight-ecs-component-protocol_log-smb-base-settings@custom
• corelight-ecs-component-protocol_log-smtp-base-settings@custom
• corelight-ecs-component-protocol_log-ssl-base-settings@custom
• corelight-ecs-component-protocol_log-suricata_corelight-base-settings@custom
• corelight-ecs-component-protocol_log-syslog-base-settings@custom
• corelight-ecs-component-protocol_log-various-base-settings@custom
• corelight-ecs-component-protocol_log-weird-base-settings@custom
• corelight-ecs-component-protocol_log-x509-base-settings@custom