rob-med/awesome-ts-anomaly-detectionElenco di strumenti e dataset per il rilevamento di anomalie sui dati di serie temporali.
Elenco di strumenti e dataset per il rilevamento di anomalie su dati time-series.
Tutte le liste sono in ordine alfabetico. Nelle liste, i progetti mantenuti sono prioritari rispetto a quelli non mantenuti. Un repository è considerato "non mantenuto" se l'ultimo commit risale a più di 1 anno fa, oppure se esplicitamente dichiarato dagli autori.
🎓 Se hai trovato utile questa raccolta e vuoi citarla, segui la citation policy.
| Nome | Linguaggio | Descrizione | Licenza | Mantenuto |
|---|---|---|---|---|
| di Cuebook CueObserve | Python3 | Rilevamento di anomalie su data warehouse e database SQL. | Apache-2.0 | ✔️ |
| di Yahoo EGADS | Java | EGADS è una libreria che contiene una serie di tecniche di rilevamento delle anomalie applicabili a molti casi d'uso in un unico pacchetto, con l'unica dipendenza rappresentata da Java. | GPL | ✔️ |
| di AIStream flow-forecast | Python | Libreria di deep learning PyTorch per la previsione, la classificazione e il rilevamento di anomalie di serie temporali (originariamente per la previsione di inondazioni). | GPL-3 | ✔️ |
| Hastic | Python + node.js | Strumento di rilevamento anomalie per dati di serie temporali con interfaccia basata su Grafana. | GPL | ✔️ |
| di Zillow Luminaire | Python | Luminaire è un pacchetto Python che fornisce soluzioni di rilevamento anomalie e previsione basate sul machine learning per dati di serie temporali. | Apache-2.0 | ✔️ |
| MIDAS | C++ | MIDAS, abbreviazione di Microcluster-Based Detector of Anomalies in Edge Streams, rileva anomalie di microcluster da un flusso di archi in tempo e memoria costanti. | Apache-2.0 | ✔️ |
| Orion | Python | Orion è una libreria di machine learning progettata per il rilevamento non supervisionato di anomalie nelle serie temporali, che fornisce una serie di pipeline ML "verificate" (note anche come pipeline Orion) che identificano pattern rari e li segnalano per la revisione da parte di esperti. |
Questa sezione include alcuni software per serie temporali dedicati ad attività collegate al rilevamento di anomalie, come la previsione, l'analisi generica delle serie temporali e l'etichettatura.
NAB è un benchmark innovativo per valutare algoritmi di rilevamento anomalie in applicazioni di streaming in tempo reale. È composto da oltre 50 file di dati di serie temporali etichettati, reali e artificiali, più un innovativo meccanismo di punteggio progettato per applicazioni in tempo reale.
Il dataset consiste in serie temporali reali e sintetiche con punti di anomalia etichettati. Il dataset testa l'accuratezza del rilevamento di vari tipi di anomalie, inclusi outlier e punti di cambiamento.
SKAB (Skoltech Anomaly Benchmark) è progettato per valutare algoritmi di rilevamento anomalie. Il benchmark include attualmente oltre 30 dataset e moduli Python per la valutazione degli algoritmi. Ogni dataset rappresenta una serie temporale multivariata raccolta dai sensori installati sul banco di prova. Tutte le istanze sono etichettate per valutare i risultati della risoluzione di problemi di rilevamento di outlier e di punti di cambiamento.
Il dataset è costituito da dati di serie temporali di KPI (key performance indicator) provenienti da molti scenari reali di aziende Internet, con etichetta di ground truth. Clicca qui sotto per una descrizione più dettagliata.
Il dataset è costituito da dati di serie temporali di KPI (key performance indicator) provenienti da molti scenari reali di aziende Internet, con etichetta di ground truth. I KPI rientrano in due grandi categorie: KPI di servizio e KPI di macchina. I KPI di servizio sono metriche di prestazione che riflettono le dimensioni e la qualità di un servizio Web, come il tempo di risposta della pagina, le visualizzazioni di pagina e il numero di errori di connessione. I KPI di macchina sono indicatori di prestazione che riflettono lo stato di salute della macchina (server, router, switch), come l'utilizzo della CPU, l'utilizzo della memoria, l'I/O del disco, il throughput della scheda di rete, ecc.
Descrizioni del dataset:
Per addestrare l'algoritmo di rilevamento anomalie, i dati KPI di training da noi forniti sono mostrati nella tabella 1, con quattro colonne: ID KPI, timestamp, il valore del KPI in quel momento e se il momento è anomalo (etichetta).
Tabella 1 caso di dati KPI di training
Se desideri citare questo repository, utilizza il seguente DOI:
oppure usa questo BibTex
@article{medico2020,
title={rob-med/awesome-TS-anomaly-detection},
DOI={10.5281/zenodo.3972944},
abstractNote={A collection of tools and datasets for anomaly detection on time-series data.},
publisher={Zenodo}, author={Roberto Medico}, year={2020}, month={Aug}}
| MIT |
| ✔️ |
| OutlierDetection.jl | Julia | Rilevamento di outlier veloce, scalabile e flessibile con Julia. | MIT | ✔️ |
| PyOD | Python | PyOD è un toolkit Python completo e scalabile per rilevare oggetti anomali in dati multivariati. | BSD 2-Clause | ✔️ |
| ruptures | Python | Ruptures è una libreria Python per il rilevamento offline di punti di cambiamento. Questo pacchetto fornisce metodi per l'analisi e la segmentazione di segnali non stazionari. | BSD 2-Clause | ✔️ |
| EarthGecko Skyline | Python3 | Skyline è un sistema di rilevamento anomalie in tempo reale, progettato per consentire il monitoraggio passivo di centinaia di migliaia di metriche. | MIT | ✔️ |
| di Expedia.com Adaptive Alerting | Java | Rilevamento anomalie in streaming con selezione e adattamento automatico del modello. | Apache-2.0 | ❌ |
| di Arundo ADTK | Python | Anomaly Detection Toolkit (ADTK) è un pacchetto Python per il rilevamento di anomalie nelle serie temporali non supervisionato / basato su regole. | MPL 2.0 | ❌ |
| di Twitter AnomalyDetection | R | AnomalyDetection è un pacchetto R open-source per rilevare anomalie che sia robusto, da un punto di vista statistico, in presenza di stagionalità e di un trend sottostante. | GPL | ❌ |
| di Lytics Anomalyzer | Go | Anomalyzer implementa una suite di test statistici che restituiscono la probabilità che un dato insieme di input numerici, tipicamente una serie temporale, contenga un comportamento anomalo. | Apache-2.0 | ❌ |
| banpei | Python | Rilevamento di outlier (teoria di Hotelling) e rilevamento di punti di cambiamento (trasformazione dello spettro singolare) per serie temporali. | MIT | ❌ |
| di Ele.me banshee | Go | Sistema di rilevamento anomalie per metriche periodiche. | MIT | ❌ |
| CAD | Python | Rilevamento anomalie contestuale per il rilevamento anomalie in tempo reale su dati in streaming (algoritmo vincitore della competizione NAB 2016). | AGPL | ❌ |
| Chaos Genius | Python | Motore analitico basato sul machine learning per il rilevamento di outlier/anomalie e l'analisi delle cause profonde. | MIT | ❌ |
| di Mentat datastream.io | Python | Un framework open-source per il rilevamento di anomalie in tempo reale che utilizza Python, Elasticsearch e Kibana. | Apache-2.0 | ❌ |
| DeepADoTS | Python | Implementazione e valutazione di 7 tecniche basate sul deep learning per il rilevamento di anomalie su dati di serie temporali. | MIT | ❌ |
| Donut | Python | Donut è un algoritmo non supervisionato di rilevamento anomalie per KPI stagionali, basato su Variational Autoencoder. | - | ❌ |
| LoudML | Python | Loud ML è un motore open-source di inferenza su serie temporali costruito su TensorFlow. È utile per prevedere dati, rilevare outlier e automatizzare i processi usando conoscenze future. | MIT | ❌ |
| di Linkedin luminol | Python | Luminol è una libreria Python leggera per l'analisi di dati di serie temporali. Le due funzionalità principali che supporta sono il rilevamento di anomalie e la correlazione. Può essere utilizzato per indagare le possibili cause di un'anomalia. | Apache-2.0 | ❌ |
| di Numenta Nupic | C++ | Numenta Platform for Intelligent Computing è un'implementazione della Memoria Temporale Gerarchica (HTM). | AGPL | ❌ |
| oddstream | R | oddstream (Outlier Detection in Data Streams) fornisce supporto in tempo reale per il rilevamento precoce di serie anomale all'interno di una vasta raccolta di dati di serie temporali in streaming. | GPL-3 | ❌ |
| PyOdds | Python | PyODDS è un sistema Python end-to-end per il rilevamento di outlier con supporto di database. PyODDS fornisce algoritmi di rilevamento outlier che supportano sia dati statici che serie temporali. | MIT | ❌ |
| PySAD | Python | PySAD è un framework di rilevamento anomalie in streaming con vari modelli online e un set completo di strumenti per la sperimentazione. | BSD 3-Clause | ❌ |
| rrcf | Python | Implementazione dell'algoritmo Robust Random Cut Forest per il rilevamento di anomalie su flussi di dati. | MIT | ❌ |
| di Netflix Surus | Java | Robust Anomaly Detection (RAD) - Un'implementazione della PCA robusta. | Apache-2.0 | ❌ |
| della NASA Telemanom | Python | Un framework per l'uso di LSTM per rilevare anomalie in dati di serie temporali multivariate. Include dati di anomalie di veicoli spaziali ed esperimenti delle missioni Mars Science Laboratory e SMAP. | custom | ❌ |
| Nome | Linguaggio | Descrizione | Licenza | Mantenuto |
|---|
| darts | Python | darts è una libreria Python per la manipolazione e la previsione semplice di serie temporali. Contiene una varietà di modelli, dai classici come ARIMA alle reti neurali. | Apache-2.0 | ✔️ |
| ETNA | Python | etna è una libreria Python per la previsione e l'analisi di serie temporali, con particolare attenzione alla struttura temporale dei dati. Include una varietà di modelli predittivi con interfaccia unificata, insieme a metodi di EDA e validazione. | Apache-2.0 | ✔️ |
| di Amazon GluonTS | Python | GluonTS è un toolkit Python per la modellazione probabilistica di serie temporali, costruito attorno a MXNet. GluonTS fornisce utility per caricare e iterare su dataset di serie temporali, modelli all'avanguardia pronti per l'addestramento e componenti per definire i propri modelli. | Apache-2.0 | ✔️ |
| pmdarima | Python | Porting dell'auto.arima di R con un'interfaccia compatibile con scikit-learn. | MIT | ✔️ |
| di Facebook Prophet | Python/R | Prophet è una procedura per la previsione di dati di serie temporali. Si basa su un modello additivo in cui i trend non lineari vengono adattati con stagionalità annuale e settimanale, oltre alle festività. | BSD | ✔️ |
| PyFlux | Python | La libreria dispone di una buona gamma di modelli moderni per serie temporali, oltre a una flessibile serie di opzioni di inferenza (frequentista e bayesiana) che possono essere applicate a questi modelli. | BSD 3-Clause | ❌ |
| Nome | Linguaggio | Descrizione | Licenza | Mantenuto |
|---|
| di Facebook Kats | Python | Kats si propone di essere un punto di riferimento unico per l'analisi di serie temporali, inclusi rilevamento, previsione, estrazione/embedding di feature, analisi multivariata, ecc. | MIT | ✔️ |
| MatrixProfile | Python | Una libreria Python 3 che rende accessibili a tutti le attività di data mining su serie temporali, utilizzando algoritmi matrix profile. | Apache-2.0 | ✔️ |
| di Salesforce Merlion | Python | Merlion: un framework di machine learning per l'intelligenza sulle serie temporali, supporta più modelli tra cui ARIMA | BSD 3-Clause | ✔️ |
| SaxPy | Python | Implementazione generale di SAX, oltre a HOTSAX per il rilevamento di anomalie. | GPLv2.0 | ✔️ |
| sktime | Python | Un framework unificato per il machine learning con serie temporali. Fornisce algoritmi specializzati per serie temporali e strumenti compatibili con scikit-learn per costruire, ottimizzare e validare modelli di serie temporali per molteplici problemi di apprendimento. | BSD 3-Clause | ✔️ |
| sktime-dl | Python | Un pacchetto di estensione per il deep learning con Tensorflow/Keras per sktime. | BSD 3-Clause | ✔️ |
| Squey | C++ | Software di visualizzazione che consente un'esplorazione approfondita delle serie temporali mostrando tutti gli outlier. | MIT | ✔️ |
| Tigramite | Python | Tigramite è un pacchetto Python per l'analisi causale di serie temporali. Permette di ricostruire in modo efficiente grafi causali da dataset di serie temporali ad alta dimensionalità e di modellare le dipendenze causali ottenute per analisi di mediazione causale e previsione. | GPLv3.0 | ✔️ |
| tsflex | Python | tsflex è un toolkit per serie temporali dedicato all'estrazione e all'elaborazione di feature, flessibile ed efficiente. Questo pacchetto supporta l'estrazione di feature con finestre a passo su dati sequenziali multivariati e campionati in modo irregolare. | MIT | ✔️ |
| tslearn | Python | tslearn è un pacchetto Python che fornisce strumenti di machine learning per l'analisi di serie temporali. Questo pacchetto si basa sulle librerie scikit-learn, numpy e scipy. | BSD 2-Clause | ✔️ |
| seglearn | Python | Seglearn è un pacchetto Python per il machine learning su serie temporali o sequenze. Fornisce una pipeline integrata per segmentazione, estrazione di feature, elaborazione delle feature e stimatore finale. | BSD 3-Clause | ❌ |
| Nome | Linguaggio | Descrizione | Licenza | Mantenuto |
|---|
| di Baidu Curve | Python | Curve è uno strumento open-source per aiutare a etichettare le anomalie su dati di serie temporali. | Apache-2.0 | ❌ |
| di Microsoft Taganomaly | R (dockerized web app) | Semplice strumento per etichettare dati di serie temporali. Funziona con dati univariati e multivariati, fornisce una previsione di anomalia di riferimento utilizzando il pacchetto AnomalyDetection di Twitter. | MIT | ❌ |
| KPI ID | Timestamp | Value | Label |
|---|
| 0 | 1503831000 | 10.8 | 0 |
| 0 | 1503831060 | 12.3 | 1 |
| ... | ... | ... | ... |
Per valutare l'algoritmo di rilevamento anomalie, i dati KPI di test da noi forniti sono mostrati nella tabella 2, con due colonne: ID KPI, timestamp e il valore corrispondente al KPI in quel momento.
Tabella 2 caso di dati KPI di test
| KPI ID | Timestamp | Value |
|---|---|---|
| 0 | 1503831000 | 10.8 |
| 0 | 1503831060 | 12.3 |
| ... | ... | ... |