loglizer

Loglizer é um kit de ferramentas de análise de logs baseado em aprendizado de máquina para detecção automatizada de anomalias.

Loglizer é uma ferramenta de análise de big data de logs baseada em IA, que pode ser usada para detecção automática de anomalias, diagnóstico inteligente de falhas e outros cenários.

Os logs são essenciais no processo de desenvolvimento e manutenção de muitos sistemas de software. Eles registram informações detalhadas de tempo de execução durante a operação do sistema, permitindo que desenvolvedores e engenheiros de suporte monitorem seus sistemas e rastreiem comportamentos anormais e erros. O Loglizer fornece um kit de ferramentas que implementa uma série de técnicas de análise de logs baseadas em aprendizado de máquina para detecção automatizada de anomalias.

🔭 Se você usar o loglizer em sua pesquisa para publicação, por favor, cite o seguinte artigo.

• Shilin He, Jieming Zhu, Pinjia He, Michael R. Lyu. Experience Report: System Log Analysis for Anomaly Detection, IEEE International Symposium on Software Reliability Engineering (ISSRE), 2016. [Bibtex][Versão em chinês] (Artigo Mais Influente do ISSRE)

Framework

O framework de análise de logs para detecção de anomalias geralmente compreende os seguintes componentes:

1. Coleta de logs: Os logs são gerados em tempo de execução e agregados em um local centralizado com um pipeline de streaming de dados, como Flume e Kafka.
2. Parsing de logs: O objetivo do parsing de logs é converter mensagens de log não estruturadas em um mapa de eventos estruturados, com base no qual modelos sofisticados de aprendizado de máquina podem ser aplicados. Os detalhes do parsing de logs podem ser encontrados em nosso projeto logparser.
3. Extração de características: Logs estruturados podem ser divididos em sequências curtas de log por meio de janela de intervalo, janela deslizante ou janela de sessão. Em seguida, a extração de características é executada para vetorizar cada sequência de log, por exemplo, usando um vetor de contagem de eventos.
4. Detecção de anomalias: Modelos de detecção de anomalias são treinados para verificar se um determinado vetor de características é uma anomalia ou não.

Modelos

Modelos de detecção de anomalias atualmente disponíveis:

Dados de log

Coletamos um conjunto de conjuntos de dados de log rotulados no loghub para fins de pesquisa. Se você tiver interesse nos conjuntos de dados, siga o link para enviar sua solicitação de acesso.

Instalação

git clone https://github.com/logpai/loglizer.git
cd loglizer
pip install -r requirements.txt

Uso da API

# Load HDFS dataset. If you would like to try your own log, you need to rewrite the load function.
(x_train, y_train), (x_test, y_test) = dataloader.load_HDFS(...)

# Feature extraction and transformation
feature_extractor = preprocessing.FeatureExtractor()
feature_extractor.fit_transform(...) 

# Model training
model = PCA()
model.fit(...)

# Feature transform after fitting
x_test = feature_extractor.transform(...)
# Model evaluation with labeled data
model.evaluate(...)

# Anomaly prediction
x_test = feature_extractor.transform(...)
model.predict(...) # predict anomalies on given data

Para mais detalhes, siga a demonstração na documentação para começar. Observe que todos os modelos de ML não são mágica; você precisa descobrir como ajustar os parâmetros para que eles funcionem com seus próprios dados.

Resultados de benchmark

Se você quiser reproduzir os seguintes resultados, execute benchmarks/HDFS_bechmark.py no conjunto de dados HDFS completo (HDFS100k é apenas para demonstração).

Colaboradores

• Shilin He, A Universidade Chinesa de Hong Kong
• Jieming Zhu, A Universidade Chinesa de Hong Kong, atualmente no Huawei Noah's Ark Lab
• Pinjia He, A Universidade Chinesa de Hong Kong, atualmente na ETH Zurich

Feedback

Para quaisquer dúvidas ou feedback, publique na página de issues.

Histórico

• 14 de maio de 2016: commit inicial
• 21 de setembro de 2017: atualização do código e do readme
• 21 de março de 2018: reescrita da maior parte do código e adição de comentários detalhados
• 18 de fevereiro de 2019: reestruturação do repositório com demonstração prática