loglizer

Loglizer 是一个基于机器学习的日志分析工具包，用于自动化异常检测。

Loglizer是一款基于AI的日志大数据分析工具, 能用于自动异常检测、智能故障诊断等场景

日志在众多软件系统的开发和维护过程中至关重要。它们记录了系统运行期间的详细运行时信息，使开发人员和运维工程师能够监控其系统并跟踪异常行为和错误。Loglizer 提供了一套工具包，实现了多种基于机器学习的日志分析技术，用于自动化异常检测。

🔭 如果您在研究中使用了 Loglizer，并希望发表论文，请引用以下论文。

• Shilin He, Jieming Zhu, Pinjia He, Michael R. Lyu. Experience Report: System Log Analysis for Anomaly Detection, IEEE International Symposium on Software Reliability Engineering (ISSRE), 2016. [Bibtex][中文版本] (ISSRE 最具影响力论文)

框架

用于异常检测的日志分析框架通常包含以下组件：

1. 日志收集： 日志在运行时生成，并通过数据流管道（如 Flume 和 Kafka）汇总到中心位置。
2. 日志解析： 日志解析的目标是将非结构化日志消息转换为结构化事件的映射，基于此可以应用复杂的机器学习模型。日志解析的详细信息可以在我们的 logparser 项目中找到。
3. 特征提取： 结构化日志可以通过间隔窗口、滑动窗口或会话窗口切分为短日志序列。然后执行特征提取，将每个日志序列向量化，例如使用事件计数向量。
4. 异常检测： 训练异常检测模型，以判断给定的特征向量是否为异常。

模型

当前可用的异常检测模型：

日志数据

我们收集了一套带标签的日志数据集，放在 loghub 中，供研究使用。如果您对这些数据集感兴趣，请点击链接提交访问请求。

安装

git clone https://github.com/logpai/loglizer.git
cd loglizer
pip install -r requirements.txt

API 用法

# Load HDFS dataset. If you would like to try your own log, you need to rewrite the load function.
(x_train, y_train), (x_test, y_test) = dataloader.load_HDFS(...)

# Feature extraction and transformation
feature_extractor = preprocessing.FeatureExtractor()
feature_extractor.fit_transform(...) 

# Model training
model = PCA()
model.fit(...)

# Feature transform after fitting
x_test = feature_extractor.transform(...)
# Model evaluation with labeled data
model.evaluate(...)

# Anomaly prediction
x_test = feature_extractor.transform(...)
model.predict(...) # predict anomalies on given data

更多详情请参阅 docs 中的 演示 以快速上手。请注意，所有机器学习模型都不是魔法，您需要了解如何调整参数，才能让它们适用于您自己的数据。

基准测试结果

如果您想重现以下结果，请在完整 HDFS 数据集上运行 benchmarks/HDFS_bechmark.py（HDFS100k 仅用于演示）。

贡献者

• Shilin He，香港中文大学
• Jieming Zhu，香港中文大学，现供职于华为诺亚方舟实验室
• Pinjia He，香港中文大学，现供职于苏黎世联邦理工学院

反馈

如果有任何问题或反馈，请在 issue 页面 发帖。

更新历史

• May 14, 2016: 初始提交
• Sep 21, 2017: 更新代码和 README
• Mar 21, 2018: 重写大部分代码并添加详细注释
• Feb 18, 2019: 重构仓库并附带实操演示