loglizer

Loglizer è una toolkit di analisi dei log basata sul machine learning per il rilevamento automatico delle anomalie.

Loglizer è uno strumento di analisi dei big data dei log basato sull'IA, in grado di supportare scenari come il rilevamento automatico delle anomalie e la diagnosi intelligente dei guasti.

I log sono fondamentali nel processo di sviluppo e manutenzione di molti sistemi software. Registrano informazioni dettagliate sull'esecuzione durante il funzionamento del sistema, consentendo a sviluppatori e ingegneri del supporto di monitorare i propri sistemi e di tracciare comportamenti anomali ed errori. Loglizer fornisce una toolkit che implementa diverse tecniche di analisi dei log basate sul machine learning per il rilevamento automatico delle anomalie.

🔭 Se utilizzi loglizer nella tua ricerca per una pubblicazione, ti preghiamo di citare il seguente articolo.

• Shilin He, Jieming Zhu, Pinjia He, Michael R. Lyu. Experience Report: System Log Analysis for Anomaly Detection, IEEE International Symposium on Software Reliability Engineering (ISSRE), 2016. [Bibtex][Versione cinese] (Articolo più influente dell'ISSRE)

Framework

Il framework di analisi dei log per il rilevamento delle anomalie comprende solitamente i seguenti componenti:

1. Raccolta dei log: I log vengono generati a runtime e aggregati in un luogo centralizzato tramite una pipeline di streaming dei dati, come Flume e Kafka.
2. Parsing dei log: L'obiettivo del parsing dei log è convertire i messaggi di log non strutturati in una mappa di eventi strutturati, su cui è possibile applicare modelli di machine learning sofisticati. I dettagli del parsing dei log sono disponibili nel nostro progetto logparser.
3. Estrazione delle feature: I log strutturati possono essere suddivisi in brevi sequenze di log tramite finestra a intervalli, finestra scorrevole o finestra di sessione. Quindi, viene eseguita l'estrazione delle feature per vettorizzare ciascuna sequenza di log, ad esempio utilizzando un vettore di conteggio degli eventi.
4. Rilevamento delle anomalie: I modelli di rilevamento delle anomalie vengono addestrati per verificare se un dato vettore di feature rappresenti o meno un'anomalia.

Modelli

Modelli di rilevamento delle anomalie attualmente disponibili:

Dati di log

Abbiamo raccolto una serie di dataset di log etichettati in loghub per scopi di ricerca. Se sei interessato ai dataset, segui il link per inviare la tua richiesta di accesso.

Installazione

git clone https://github.com/logpai/loglizer.git
cd loglizer
pip install -r requirements.txt

Utilizzo dell'API

# Load HDFS dataset. If you would like to try your own log, you need to rewrite the load function.
(x_train, y_train), (x_test, y_test) = dataloader.load_HDFS(...)

# Feature extraction and transformation
feature_extractor = preprocessing.FeatureExtractor()
feature_extractor.fit_transform(...) 

# Model training
model = PCA()
model.fit(...)

# Feature transform after fitting
x_test = feature_extractor.transform(...)
# Model evaluation with labeled data
model.evaluate(...)

# Anomaly prediction
x_test = feature_extractor.transform(...)
model.predict(...) # predict anomalies on given data

Per maggiori dettagli, segui la demo nella documentazione per iniziare. Tieni presente che tutti i modelli di ML non sono magici: devi capire come ottimizzare i parametri per farli funzionare sui tuoi dati.

Risultati dei benchmark

Se desideri riprodurre i seguenti risultati, esegui benchmarks/HDFS_bechmark.py sull'intero dataset HDFS (HDFS100k è solo per la demo).

Contributori

• Shilin He, The Chinese University of Hong Kong
• Jieming Zhu, The Chinese University of Hong Kong, attualmente presso Huawei Noah's Ark Lab
• Pinjia He, The Chinese University of Hong Kong, attualmente presso ETH Zurich

Feedback

Per qualsiasi domanda o feedback, pubblica un post nella pagina delle issue.

Cronologia

• May 14, 2016: commit iniziale
• Sep 21, 2017: aggiornamento del codice e del readme
• Mar 21, 2018: riscrittura della maggior parte del codice e aggiunta di commenti dettagliati
• Feb 18, 2019: ristrutturazione del repository con demo pratica