loglizer

Loglizer — это инструментарий анализа журналов на основе машинного обучения для автоматического обнаружения аномалий.

Loglizer — это инструмент анализа больших данных журналов на основе ИИ, который можно использовать в таких сценариях, как автоматическое обнаружение аномалий, интеллектуальная диагностика неисправностей и т. д.

Журналы крайне важны в процессе разработки и сопровождения многих программных систем. Они записывают подробную информацию о времени выполнения во время работы системы, что позволяет разработчикам и инженерам поддержки контролировать свои системы и отслеживать аномальное поведение и ошибки. Loglizer предоставляет инструментарий, реализующий ряд методов анализа журналов на основе машинного обучения для автоматического обнаружения аномалий.

🔭 Если вы используете loglizer в своих исследованиях для публикации, пожалуйста, укажите следующую статью.

• Shilin He, Jieming Zhu, Pinjia He, Michael R. Lyu. Experience Report: System Log Analysis for Anomaly Detection, IEEE International Symposium on Software Reliability Engineering (ISSRE), 2016. [Bibtex][китайская версия] (Самая влиятельная статья ISSRE)

Структура

Структура анализа журналов для обнаружения аномалий обычно включает следующие компоненты:

1. Сбор журналов: Журналы создаются во время выполнения и агрегируются в централизованное место с помощью конвейера потоковой передачи данных, например Flume и Kafka.
2. Разбор журналов: Цель разбора журналов — преобразовать неструктурированные сообщения журналов в карту структурированных событий, на основе которой можно применять сложные модели машинного обучения. Подробности о разборе журналов можно найти в нашем проекте logparser.
3. Извлечение признаков: Структурированные журналы можно разбивать на короткие последовательности журналов с помощью интервального окна, скользящего окна или окна сеанса. Затем выполняется извлечение признаков для векторизации каждой последовательности журналов, например, с использованием вектора подсчёта событий.
4. Обнаружение аномалий: Модели обнаружения аномалий обучаются проверять, является ли данный вектор признаков аномалией или нет.

Модели

Модели обнаружения аномалий, доступные в настоящее время:

Данные журналов

Мы собрали ряд размеченных наборов данных журналов в loghub для исследовательских целей. Если вас интересуют эти наборы данных, перейдите по ссылке, чтобы отправить запрос на доступ.

Установка

git clone https://github.com/logpai/loglizer.git
cd loglizer
pip install -r requirements.txt

Использование API

# Load HDFS dataset. If you would like to try your own log, you need to rewrite the load function.
(x_train, y_train), (x_test, y_test) = dataloader.load_HDFS(...)

# Feature extraction and transformation
feature_extractor = preprocessing.FeatureExtractor()
feature_extractor.fit_transform(...) 

# Model training
model = PCA()
model.fit(...)

# Feature transform after fitting
x_test = feature_extractor.transform(...)
# Model evaluation with labeled data
model.evaluate(...)

# Anomaly prediction
x_test = feature_extractor.transform(...)
model.predict(...) # predict anomalies on given data

Чтобы начать работу, следуйте демонстрации в документации. Обратите внимание, что все модели машинного обучения — не магия: вам нужно разобраться, как настраивать параметры, чтобы они работали на ваших собственных данных.

Результаты сравнительного тестирования

Если вы хотите воспроизвести следующие результаты, запустите benchmarks/HDFS_bechmark.py на полном наборе данных HDFS (HDFS100k предназначен только для демонстрации).

Авторы

• Shilin He, Китайский университет Гонконга
• Jieming Zhu, Китайский университет Гонконга, в настоящее время в Huawei Noah's Ark Lab
• Pinjia He, Китайский университет Гонконга, в настоящее время в ETH Zurich

Обратная связь

По любым вопросам или отзывам, пожалуйста, оставляйте их на странице issues.

История

• 14 мая 2016: первоначальный коммит
• 21 сентября 2017: обновление кода и readme
• 21 марта 2018: переписана большая часть кода и добавлены подробные комментарии
• 18 февраля 2019: реструктуризация репозитория с практической демонстрацией