Merlion: una libreria di machine learning per serie temporali

Indice

1. Introduzione
2. Confronto con librerie correlate
3. Installazione
4. Documentazione
5. Per iniziare
   1. Rilevamento delle anomalie
   2. Previsione
6. Valutazione e benchmark
7. Report tecnico e citazione di Merlion

Introduzione

Merlion è una libreria Python per l'intelligenza delle serie temporali. Fornisce un framework di machine learning end-to-end che include caricamento e trasformazione dei dati, costruzione e addestramento dei modelli, post-elaborazione degli output dei modelli e valutazione delle prestazioni dei modelli. Supporta vari compiti di apprendimento su serie temporali, tra cui previsione, rilevamento delle anomalie, e rilevamento dei punti di cambiamento per serie temporali sia univariate che multivariate. Questa libreria mira a fornire a ingegneri e ricercatori una soluzione completa per sviluppare rapidamente modelli per le loro specifiche esigenze sulle serie temporali, e valutarli su più dataset di serie temporali.

Le caratteristiche principali di Merlion sono

• Caricamento dei dati e benchmark standardizzati e facilmente estendibili per un'ampia gamma di dataset di previsione e rilevamento delle anomalie. Include supporto trasparente per dataset personalizzati.
• Una libreria di modelli eterogenei per il rilevamento delle anomalie, la previsione e il rilevamento dei punti di cambiamento, tutti unificati sotto un'interfaccia condivisa. I modelli includono metodi statistici classici, ensemble di alberi e approcci di deep learning. Gli utenti avanzati possono configurare completamente ogni modello come desiderano.
• Modelli astratti DefaultDetector e DefaultForecaster efficienti, che ottengono buone prestazioni in modo robusto, e forniscono un punto di partenza per i nuovi utenti.
• AutoML per la regolazione automatica degli iperparametri e la selezione dei modelli.
• API unificata per utilizzare un'ampia gamma di modelli per fare previsioni con regressori esogeni.
• Regole di post-elaborazione pratiche, ispirate all'industria, per i rilevatori di anomalie che rendono i punteggi di anomalia più interpretabili, riducendo anche il numero di falsi positivi.
• Ensemble facili da usare che combinano gli output di più modelli per ottenere prestazioni più robuste.
• Pipeline di valutazione flessibili che simulano la distribuzione live e il ri-addestramento di un modello in produzione, e valutano le prestazioni sia per la previsione che per il rilevamento delle anomalie.
• Supporto nativo per la visualizzazione delle previsioni dei modelli, anche tramite un'interfaccia visiva cliccabile.
• Backend di calcolo distribuito basato su PySpark, che può essere utilizzato per servire applicazioni su serie temporali a scala industriale.

Confronto con librerie correlate

La tabella seguente fornisce una panoramica visiva di come le caratteristiche principali di Merlion si confrontano con altre librerie per il rilevamento delle anomalie e/o la previsione di serie temporali.

	Merlion	Prophet	Alibi Detect	Kats	darts	statsmodels	nixtla	GluonTS	RRCF	STUMPY	Greykite	pmdarima
Previsione univariata	✅	✅		✅	✅	✅	✅	✅			✅	✅
Previsione multivariata	✅			✅	✅	✅	✅	✅
Rilevamento anomalie univariato	✅	✅	✅	✅	✅				✅	✅	✅	✅
Rilevamento anomalie multivariato	✅		✅	✅	✅				✅	✅
Pre-elaborazione	✅		✅	✅	✅		✅	✅			✅	✅
Post-elaborazione	✅		✅
AutoML	✅			✅							✅
Ensemble	✅			✅	✅					✅
Benchmark	✅				✅	✅	✅				✅
Visualizzazione	✅	✅		✅	✅						✅

Le seguenti funzionalità sono nuove in Merlion 2.0:

	Merlion	Prophet	Alibi Detect	Kats	darts	statsmodels	nixtla	GluonTS	RRCF	STUMPY	Greykite	pmdarima
Regressori esogeni	✅	✅			✅	✅					✅	✅
Rilevamento dei punti di cambiamento	✅	✅	✅	✅							✅
Interfaccia visiva cliccabile	✅
Backend distribuito	✅						✅

Installazione

Merlion è composto da due sotto-repository: merlion implementa le funzionalità principali di intelligenza per serie temporali della libreria, e ts_datasets fornisce loader di dati standardizzati per diversi dataset di serie temporali. Questi loader caricano le serie temporali come pandas.DataFrame con i relativi metadati.

Puoi installare merlion da PyPI eseguendo pip install salesforce-merlion. Puoi installare dal sorgente clonando questo repository ed eseguendo pip install Merlion/, oppure pip install -e Merlion/ per installare in modalità modificabile (editable). Puoi installare dipendenze aggiuntive tramite pip install salesforce-merlion[all], oppure eseguendo pip install "Merlion/[all]" se installi dal sorgente. Singolarmente, le dipendenze opzionali includono dashboard per una dashboard GUI, spark per un backend di calcolo distribuito con PySpark e deep-learning per tutti i modelli di deep learning.

Per installare il pacchetto di caricamento dati ts_datasets, clona questo repository ed esegui pip install -e Merlion/ts_datasets/. Questo pacchetto deve essere installato in modalità modificabile (cioè con il flag -e) se non vuoi specificare manualmente la directory principale di ogni dataset durante l'inizializzazione del suo data loader.

Nota le seguenti dipendenze esterne:

1. Alcuni dei nostri modelli di previsione dipendono da OpenMP. Se usi conda, esegui conda install -c conda-forge lightgbm prima di installare il nostro pacchetto. Questo garantirà che OpenMP sia configurato per funzionare con il pacchetto lightgbm (una delle nostre dipendenze) nel tuo ambiente conda. Se usi Mac, installa Homebrew ed esegui brew install libomp in modo che la libreria OpenMP sia disponibile per il modello.