Quer ver vários logs do Zeek para o mesmo ID de conexão (uid) ou ID de arquivo (fuid)? Aqui estão as ocorrências de files.log, http.log e conn.log para um único uid:

Você pode realizar buscas por sub-rede no tipo 'addr' do Zeek:

Você pode criar gráficos de séries temporais, como este gráfico de NTP e HTTP:

Endereços IP podem ser geolocalizados com a opção de linha de comando -g:

Agregações são simples e rápidas:

Esta aplicação "simplesmente funcionará" quando os formatos de log do Zeek mudarem. A lógica lê os nomes dos campos e os tipos associados para configurar os mapeamentos corretamente no ElasticSearch.

Esta aplicação reconhecerá logs gzip ou descompactados. Esta aplicação presume que você tenha o ElasticSearch configurado no seu localhost na porta padrão. Se você não tiver o ElasticSearch, pode enviar o JSON para o stdout com as opções de linha de comando -s -b para processar com a aplicação jq.

Você pode adicionar um subcampo keyword aos campos de texto com a opção de linha de comando -k. Isso é útil para agregações no Kibana.

Se o Python já estiver no seu sistema, não há nada adicional para você copiar para a sua máquina além de Elasticsearch, Kibana e zeek2es.py se você já tiver a biblioteca requests instalada.

Instalação

Supondo que você atenda aos requisitos, não há instalação. Basta copiar o zeek2es.py para o seu host e executá-lo com Python. Depois que os logs do Zeek forem importados com a geração automática de nome de índice (ou seja, você não forneceu a opção -i), você encontrará seus índices nomeados como "zeek_zeeklogname_date", onde zeeklogname é um nome de log como conn e a date está no formato YYYY-MM-DD. Defina seu padrão de índice no Kibana para corresponder a zeek* neste caso. Se você nomeou seu índice com a opção -i, precisará criar um padrão de índice no Kibana que corresponda ao seu esquema de nomenclatura.

Se você está atualizando o zeek2es, consulte a seção sobre atualização do zeek2es.

Elastic v8.0+

Docker

Filtering Data

Python Filters

Como os índices têm a data anexada a eles, você poderia excluir 31 de dezembro de 2021 com o seguinte comando:``` curl -X DELETE http://localhost:9200/zeek_*_2021-12-31

Opções de Linha de Comando ```

optional arguments: -h, --help show this help message and exit -i ESINDEX, --esindex ESINDEX The Elasticsearch index/data stream name. -u ESURL, --esurl ESURL The Elasticsearch URL. Use ending slash. Use https for Elastic v8+. (default: http://localhost:9200) --user USER The Elasticsearch user. (default: disabled) --passwd PASSWD The Elasticsearch password. Note this will put your password in this shell history file. (default: disabled) -l LINES, --lines LINES Lines to buffer for RESTful operations. (default: 10,000) -n NAME, --name NAME The name of the system to add to the index for uniqueness. (default: empty string) -k KEYWORDS [KEYWORDS ...], --keywords KEYWORDS [KEYWORDS ...] A list of text fields to add a keyword subfield. (default: service) -a LAMBDAFILTER, --lambdafilter LAMBDAFILTER A Python lambda function, when eval'd will filter your output JSON dict. (default: empty string) -f FILTERFILE, --filterfile FILTERFILE A Python function file, when eval'd will filter your output JSON dict. (default: empty string) -y OUTPUTFIELDS [OUTPUTFIELDS ...], --outputfields OUTPUTFIELDS [OUTPUTFIELDS ...] A list of fields to keep for the output. Must include ts. (default: empty string) -d DATASTREAM, --datastream DATASTREAM Instead of an index, use a data stream that will rollover at this many GB. Recommended is 50 or less. (default: 0 - disabled) --compress If a datastream is used, enable best compression. -o fieldname filename, --logkey fieldname filename A field to log to a file. Example: uid uid.txt.
Will append to the file! Delete file before running if appending is undesired.
This option can be called more than once. (default: empty - disabled) -e fieldname filename, --filterkeys fieldname filename A field to filter with keys from a file. Example: uid uid.txt. (default: empty string - disabled) -g, --ingestion Use the ingestion pipeline to do things like geolocate IPs and split services. Takes longer, but worth it. -p SPLITFIELDS [SPLITFIELDS ...], --splitfields SPLITFIELDS [SPLITFIELDS ...] A list of additional fields to split with the ingestion pipeline, if enabled. (default: empty string - disabled) -j, --jsonlogs Assume input logs are JSON. -r, --origtime Keep the numerical time format, not milliseconds as ES needs. -t, --timestamp Keep the time in timestamp format. -s, --stdout Print JSON to stdout instead of sending to Elasticsearch directly. -b, --nobulk Remove the ES bulk JSON header. Requires --stdout. --humio HUMIO HUMIO First argument is the Humio URL, the second argument is the ingest token. -c, --cython Use Cython execution by loading the local zeek2es.so file through an import. Run python setup.py build_ext --inplace first to make your zeek2es.so file! -w, --hashdates Use hashes instead of dates for the index name. -z, --supresswarnings Supress any type of warning. Die stoically and silently.

To delete indices:

To delete data streams:

To delete index templates:

To delete the lifecycle policy:

You will need to add -k -u elastic_user:password if you are using Elastic v8+.

A URL deve estar no formato: http://yourserver:8080, pois o restante do caminho é adicionado pelo script zeek2es.py automaticamente para você.

Entrada de Logs JSON

Data Streams

Você pode usar data streams em vez de índices para logs grandes com a opção de linha de comando -d. Esta opção cria modelos de índice que começam com zeek_. Ela também cria uma política de ciclo de vida chamada zeek-lifecycle-policy. Se você quiser excluir todos os seus data streams, políticas de ciclo de vida e modelos de índice, estes comandos farão isso por você:``` curl -X DELETE http://localhost:9200/_data_stream/zeek*?pretty curl -X DELETE http://localhost:9200/_index_template/zeek*?pretty curl -X DELETE http://localhost:9200/_ilm/policy/zeek-lifecycle-policy?pretty

I don't see any text to translate — the INPUT section is empty. Please provide the chunk content so I can translate it from English to Portuguese.``` $ ./process_log.sh Usage: ./process_log.sh LOGFILENAME "ADDITIONAL_ARGS_TO_ZEEK2ES"

Example: fswatch -m poll_monitor --event Created -r /data/logs/zeek | awk '/^./(conn|dns|http)...log.gz$/' | parallel -j 16 ./process_log.sh {} "" :::: -

... ou se estiver usando Elastic v8+ ...``` curl -X DELETE -k -u elastic:password https://localhost:9200/zeek*?pretty curl -X DELETE -k -u elastic:password https://localhost:9200/_data_stream/zeek*?pretty curl -X DELETE -k -u elastic:password https://localhost:9200/_data_stream/logs-zeek*?pretty curl -X DELETE -k -u elastic:password https://localhost:9200/_index_template/zeek*?pretty curl -X DELETE -k -u elastic:password https://localhost:9200/_index_template/logs-zeek*?pretty curl -X DELETE -k -u elastic:password https://localhost:9200/_ilm/policy/zeek-lifecycle-policy?pretty