Хотите увидеть несколько логов Zeek для одного и того же ID соединения (uid) или ID файла (fuid)? Вот результаты из files.log, http.log и conn.log для одного uid:

Вы можете выполнять поиск по подсети для типа 'addr' Zeek:

Вы можете создавать графики временных рядов, например, этот график NTP и HTTP:

IP-адреса можно геолоцировать с помощью параметра командной строки -g:

Агрегации просты и быстры:

Это приложение будет «просто работать» при изменении форматов логов Zeek. Логика читает имена полей и связанные типы, чтобы правильно настроить сопоставления в ElasticSearch.

Это приложение распознаёт gzip или несжатые логи. Приложение предполагает, что ElasticSearch настроен на вашем localhost на порту по умолчанию. Если у вас нет ElasticSearch, вы можете вывести JSON в stdout с помощью параметров командной строки -s -b, чтобы обработать его приложением jq.

Вы можете добавить подполе keyword к текстовым полям с помощью параметра командной строки -k. Это полезно для агрегаций в Kibana.

Если Python уже установлен в вашей системе, вам не нужно копировать на свою машину ничего дополнительного, кроме Elasticsearch, Kibana и zeek2es.py, если у вас уже установлена библиотека requests.

Установка

Если вы соответствуете требованиям, то установка не требуется. Вы просто копируете zeek2es.py на свой хост и запускаете его с помощью Python. После импорта логов Zeek с автоматической генерацией имени индекса (то есть, если вы не указали параметр -i) вы обнаружите, что ваши индексы называются "zeek_zeeklogname_date", где zeeklogname — это имя лога, например conn, а date — дата в формате YYYY-MM-DD. В этом случае задайте шаблон индекса Kibana, соответствующий zeek*. Если вы назвали свой индекс с помощью параметра -i, вам нужно будет создать шаблон индекса Kibana, который соответствует вашей схеме именования.

Если вы обновляете zeek2es, пожалуйста, обратитесь к разделу об обновлении zeek2es.

Elastic v8.0+

Docker

Filtering Data

Python Filters

Поскольку к именам индексов добавляется дата, вы можете удалить индекс за 31 декабря 2021 года следующей командой:``` curl -X DELETE http://localhost:9200/zeek_*_2021-12-31

Параметры командной строки ```

optional arguments: -h, --help show this help message and exit -i ESINDEX, --esindex ESINDEX The Elasticsearch index/data stream name. -u ESURL, --esurl ESURL The Elasticsearch URL. Use ending slash. Use https for Elastic v8+. (default: http://localhost:9200) --user USER The Elasticsearch user. (default: disabled) --passwd PASSWD The Elasticsearch password. Note this will put your password in this shell history file. (default: disabled) -l LINES, --lines LINES Lines to buffer for RESTful operations. (default: 10,000) -n NAME, --name NAME The name of the system to add to the index for uniqueness. (default: empty string) -k KEYWORDS [KEYWORDS ...], --keywords KEYWORDS [KEYWORDS ...] A list of text fields to add a keyword subfield. (default: service) -a LAMBDAFILTER, --lambdafilter LAMBDAFILTER A Python lambda function, when eval'd will filter your output JSON dict. (default: empty string) -f FILTERFILE, --filterfile FILTERFILE A Python function file, when eval'd will filter your output JSON dict. (default: empty string) -y OUTPUTFIELDS [OUTPUTFIELDS ...], --outputfields OUTPUTFIELDS [OUTPUTFIELDS ...] A list of fields to keep for the output. Must include ts. (default: empty string) -d DATASTREAM, --datastream DATASTREAM Instead of an index, use a data stream that will rollover at this many GB. Recommended is 50 or less. (default: 0 - disabled) --compress If a datastream is used, enable best compression. -o fieldname filename, --logkey fieldname filename A field to log to a file. Example: uid uid.txt.
Will append to the file! Delete file before running if appending is undesired.
This option can be called more than once. (default: empty - disabled) -e fieldname filename, --filterkeys fieldname filename A field to filter with keys from a file. Example: uid uid.txt. (default: empty string - disabled) -g, --ingestion Use the ingestion pipeline to do things like geolocate IPs and split services. Takes longer, but worth it. -p SPLITFIELDS [SPLITFIELDS ...], --splitfields SPLITFIELDS [SPLITFIELDS ...] A list of additional fields to split with the ingestion pipeline, if enabled. (default: empty string - disabled) -j, --jsonlogs Assume input logs are JSON. -r, --origtime Keep the numerical time format, not milliseconds as ES needs. -t, --timestamp Keep the time in timestamp format. -s, --stdout Print JSON to stdout instead of sending to Elasticsearch directly. -b, --nobulk Remove the ES bulk JSON header. Requires --stdout. --humio HUMIO HUMIO First argument is the Humio URL, the second argument is the ingest token. -c, --cython Use Cython execution by loading the local zeek2es.so file through an import. Run python setup.py build_ext --inplace first to make your zeek2es.so file! -w, --hashdates Use hashes instead of dates for the index name. -z, --supresswarnings Supress any type of warning. Die stoically and silently.

To delete indices:

To delete data streams:

To delete index templates:

To delete the lifecycle policy:

You will need to add -k -u elastic_user:password if you are using Elastic v8+.

URL должен быть в формате: http://yourserver:8080, так как остальная часть пути добавляется скриптом zeek2es.py автоматически.

Ввод JSON-журналов

Потоки данных

Вы можете использовать потоки данных вместо индексов для больших журналов с помощью параметра командной строки -d. Этот параметр создает шаблоны индексов, начинающиеся с zeek_. Он также создает политику жизненного цикла с именем zeek-lifecycle-policy. Если вы хотите удалить все свои потоки данных, политики жизненного цикла, и шаблоны индексов, эти команды сделают это за вас:``` curl -X DELETE http://localhost:9200/_data_stream/zeek*?pretty curl -X DELETE http://localhost:9200/_index_template/zeek*?pretty curl -X DELETE http://localhost:9200/_ilm/policy/zeek-lifecycle-policy?pretty

Входные данные (INPUT) пусты — текст для перевода не предоставлен. Переводить нечего.``` $ ./process_log.sh Usage: ./process_log.sh LOGFILENAME "ADDITIONAL_ARGS_TO_ZEEK2ES"

Example: fswatch -m poll_monitor --event Created -r /data/logs/zeek | awk '/^./(conn|dns|http)...log.gz$/' | parallel -j 16 ./process_log.sh {} "" :::: -

... или если вы используете Elastic v8+ ...``` curl -X DELETE -k -u elastic:password https://localhost:9200/zeek*?pretty curl -X DELETE -k -u elastic:password https://localhost:9200/_data_stream/zeek*?pretty curl -X DELETE -k -u elastic:password https://localhost:9200/_data_stream/logs-zeek*?pretty curl -X DELETE -k -u elastic:password https://localhost:9200/_index_template/zeek*?pretty curl -X DELETE -k -u elastic:password https://localhost:9200/_index_template/logs-zeek*?pretty curl -X DELETE -k -u elastic:password https://localhost:9200/_ilm/policy/zeek-lifecycle-policy?pretty