logpai/loglizerलॉग-आधारित विसंगति पहचान के लिए एक मशीन लर्निंग टूलकिट [ISSRE'16]
Loglizer स्वचालित विसंगति पहचान के लिए एक मशीन लर्निंग-आधारित लॉग विश्लेषण टूलकिट है.
Loglizer एक AI-आधारित लॉग बिग डेटा विश्लेषण टूल है, जिसका उपयोग स्वचालित विसंगति पहचान, बुद्धिमान दोष निदान आदि परिदृश्यों में किया जा सकता है।
कई सॉफ़्टवेयर सिस्टमों के विकास और अनुरक्षण प्रक्रिया में लॉग्स अनिवार्य होते हैं। वे सिस्टम संचालन के दौरान विस्तृत रनटाइम जानकारी दर्ज करते हैं, जिससे डेवलपर्स और सहायता इंजीनियर अपने सिस्टम की निगरानी कर सकते हैं और असामान्य व्यवहारों तथा त्रुटियों को ट्रैक कर सकते हैं। Loglizer एक टूलकिट प्रदान करता है जो स्वचालित विसंगति पहचान के लिए कई मशीन लर्निंग-आधारित लॉग विश्लेषण तकनीकों को लागू करता है।
🔭 यदि आप अपने शोध/प्रकाशन में loglizer का उपयोग करते हैं, तो कृपया निम्नलिखित पेपर को उद्धृत करें।
विसंगति पहचान के लिए लॉग विश्लेषण ढाँचे में आमतौर पर निम्नलिखित घटक शामिल होते हैं:
वर्तमान में उपलब्ध विसंगति पहचान मॉडल:
हमने शोध उद्देश्यों के लिए loghub में लेबल किए गए लॉग डेटासेट का एक सेट एकत्र किया है। यदि आप डेटासेट में रुचि रखते हैं, तो कृपया एक्सेस अनुरोध सबमिट करने के लिए लिंक का अनुसरण करें।
git clone https://github.com/logpai/loglizer.git
cd loglizer
pip install -r requirements.txt
# Load HDFS dataset. If you would like to try your own log, you need to rewrite the load function.
(x_train, y_train), (x_test, y_test) = dataloader.load_HDFS(...)
# Feature extraction and transformation
feature_extractor = preprocessing.FeatureExtractor()
feature_extractor.fit_transform(...)
# Model training
model = PCA()
model.fit(...)
# Feature transform after fitting
x_test = feature_extractor.transform(...)
# Model evaluation with labeled data
model.evaluate(...)
# Anomaly prediction
x_test = feature_extractor.transform(...)
model.predict(...) # predict anomalies on given data
अधिक विवरण के लिए, आरंभ करने हेतु दस्तावेज़ों में डेमो देखें। कृपया ध्यान दें कि सभी ML मॉडल जादू नहीं हैं; आपको यह समझना होगा कि अपने डेटा पर उन्हें कारगर बनाने के लिए पैरामीटर कैसे ट्यून करें।
यदि आप निम्नलिखित परिणामों को दोहराना चाहते हैं, तो कृपया पूर्ण HDFS डेटासेट पर benchmarks/HDFS_bechmark.py चलाएँ (HDFS100k केवल डेमो के लिए है)।
किसी भी प्रश्न या प्रतिक्रिया के लिए, कृपया issue पेज पर पोस्ट करें।
| मॉडल | पेपर संदर्भ |
|---|
| पर्यवेक्षित मॉडल | |
| LR | [EuroSys'10] Fingerprinting the Datacenter: Automated Classification of Performance Crises, by Peter Bodík, Moises Goldszmidt, Armando Fox, Hans Andersen. [Microsoft] |
| Decision Tree | [ICAC'04] Failure Diagnosis Using Decision Trees, by Mike Chen, Alice X. Zheng, Jim Lloyd, Michael I. Jordan, Eric Brewer. [eBay] |
| SVM | [ICDM'07] Failure Prediction in IBM BlueGene/L Event Logs, by Yinglung Liang, Yanyong Zhang, Hui Xiong, Ramendra Sahoo. [IBM] |
| अपर्यवेक्षित मॉडल | |
| LOF | [SIGMOD'00] LOF: Identifying Density-Based Local Outliers, by Markus M. Breunig, Hans-Peter Kriegel, Raymond T. Ng, Jörg Sander. |
| One-Class SVM | [Neural Computation'01] Estimating the Support of a High-Dimensional Distribution, by John Platt, Bernhard Schölkopf, John Shawe-Taylor, Alex J. Smola, Robert C. Williamson. |
| Isolation Forest | [ICDM'08] Isolation Forest, by Fei Tony Liu, Kai Ming Ting, Zhi-Hua Zhou. |
| PCA | [SOSP'09] Large-Scale System Problems Detection by Mining Console Logs, by Wei Xu, Ling Huang, Armando Fox, David Patterson, Michael I. Jordan. [Intel] |
| Invariants Mining | [ATC'10] Mining Invariants from Console Logs for System Problem Detection, by Jian-Guang Lou, Qiang Fu, Shengqi Yang, Ye Xu, Jiang Li. [Microsoft] |
| Clustering | [ICSE'16] Log Clustering based Problem Identification for Online Service Systems, by Qingwei Lin, Hongyu Zhang, Jian-Guang Lou, Yu Zhang, Xuewei Chen. [Microsoft] |
| DeepLog (आगामी) | [CCS'17] DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning, by Min Du, Feifei Li, Guineng Zheng, Vivek Srikumar. |
| AutoEncoder (आगामी) | [Arxiv'18] Anomaly Detection using Autoencoders in High Performance Computing Systems, by Andrea Borghesi, Andrea Bartolini, Michele Lombardi, Michela Milano, Luca Benini. |
| HDFS |
|---|
| मॉडल | प्रेसिज़न | रिकॉल | F1 |
| LR | 0.955 | 0.911 | 0.933 |
| Decision Tree | 0.998 | 0.998 | 0.998 |
| SVM | 0.959 | 0.970 | 0.965 |
| LOF | 0.967 | 0.561 | 0.710 |
| One-Class SVM | 0.995 | 0.222 | 0.363 |
| Isolation Forest | 0.830 | 0.776 | 0.802 |
| PCA | 0.975 | 0.635 | 0.769 |
| Invariants Mining | 0.888 | 0.945 | 0.915 |
| Clustering | 1.000 | 0.720 | 0.837 |