loglizer

Loglizer est une boîte à outils d'analyse de journaux basée sur l'apprentissage automatique pour la détection automatisée d'anomalies.

Loglizer est un outil d'analyse de données massives de journaux basé sur l'IA, pouvant être utilisé pour la détection automatique d'anomalies, le diagnostic intelligent de pannes, etc.

Les journaux sont essentiels dans le processus de développement et de maintenance de nombreux systèmes logiciels. Ils enregistrent des informations détaillées sur l'exécution pendant le fonctionnement du système, ce qui permet aux développeurs et aux ingénieurs de support de surveiller leurs systèmes et de suivre les comportements anormaux et les erreurs. Loglizer fournit une boîte à outils qui implémente un certain nombre de techniques d'analyse de journaux basées sur l'apprentissage automatique pour la détection automatisée d'anomalies.

🔭 Si vous utilisez loglizer dans vos recherches pour une publication, veuillez citer l'article suivant.

• Shilin He, Jieming Zhu, Pinjia He, Michael R. Lyu. Experience Report: System Log Analysis for Anomaly Detection, IEEE International Symposium on Software Reliability Engineering (ISSRE), 2016. [Bibtex][Version chinoise] (Article le plus influent de l'ISSRE)

Cadre

Le cadre d'analyse de journaux pour la détection d'anomalies comprend généralement les composants suivants :

1. Collecte de journaux : Les journaux sont générés au moment de l'exécution et agrégés dans un endroit centralisé via un pipeline de streaming de données, tel que Flume et Kafka.
2. Analyse syntaxique des journaux : L'objectif de l'analyse syntaxique des journaux est de convertir les messages de journal non structurés en une carte d'événements structurés, sur laquelle des modèles d'apprentissage automatique sophistiqués peuvent être appliqués. Les détails de l'analyse syntaxique des journaux se trouvent dans notre projet logparser.
3. Extraction de caractéristiques : Les journaux structurés peuvent être découpés en courtes séquences de journaux via une fenêtre d'intervalle, une fenêtre glissante ou une fenêtre de session. Ensuite, l'extraction de caractéristiques est effectuée pour vectoriser chaque séquence de journaux, par exemple, en utilisant un vecteur de comptage d'événements.
4. Détection d'anomalies : Des modèles de détection d'anomalies sont entraînés pour vérifier si un vecteur de caractéristiques donné est une anomalie ou non.

Modèles

Modèles de détection d'anomalies actuellement disponibles :

Données de journaux

Nous avons collecté un ensemble de jeux de données de journaux étiquetés dans loghub à des fins de recherche. Si vous êtes intéressé par les jeux de données, veuillez suivre le lien pour soumettre votre demande d'accès.

Installation

git clone https://github.com/logpai/loglizer.git
cd loglizer
pip install -r requirements.txt

Utilisation de l'API

# Load HDFS dataset. If you would like to try your own log, you need to rewrite the load function.
(x_train, y_train), (x_test, y_test) = dataloader.load_HDFS(...)

# Feature extraction and transformation
feature_extractor = preprocessing.FeatureExtractor()
feature_extractor.fit_transform(...) 

# Model training
model = PCA()
model.fit(...)

# Feature transform after fitting
x_test = feature_extractor.transform(...)
# Model evaluation with labeled data
model.evaluate(...)

# Anomaly prediction
x_test = feature_extractor.transform(...)
model.predict(...) # predict anomalies on given data

Pour plus de détails, veuillez suivre la démo dans les docs pour commencer. Veuillez noter que tous les modèles de ML ne sont pas magiques, vous devez comprendre comment régler les paramètres pour les faire fonctionner sur vos propres données.

Résultats de benchmarking

Si vous souhaitez reproduire les résultats suivants, veuillez exécuter benchmarks/HDFS_bechmark.py sur le jeu de données HDFS complet (HDFS100k est uniquement pour la démo).

Contributeurs

• Shilin He, The Chinese University of Hong Kong
• Jieming Zhu, The Chinese University of Hong Kong, actuellement à Huawei Noah's Ark Lab
• Pinjia He, The Chinese University of Hong Kong, actuellement à l'ETH Zurich

Commentaires

Pour toute question ou commentaire, veuillez poster sur la page des issues.

Historique

• 14 mai 2016 : commit initial
• 21 septembre 2017 : mise à jour du code et du readme
• 21 mars 2018 : réécriture de la plupart du code et ajout de commentaires détaillés
• 18 février 2019 : restructuration du dépôt avec une démo pratique