Merlion: библиотека машинного обучения для временных рядов

Оглавление

1. Введение
2. Сравнение с аналогичными библиотеками
3. Установка
4. Документация
5. Начало работы
   1. Обнаружение аномалий
   2. Прогнозирование
6. Оценка и бенчмаркинг
7. Технический отчет и цитирование Merlion

Введение

Merlion — это библиотека Python для интеллектуального анализа временных рядов. Она предоставляет сквозной фреймворк машинного обучения, который включает загрузку и преобразование данных, создание и обучение моделей, постобработку выходных данных моделей и оценку качества моделей. Она поддерживает различные задачи обучения на временных рядах, включая прогнозирование, обнаружение аномалий и обнаружение точек изменения как для одномерных, так и для многомерных временных рядов. Библиотека призвана предоставить инженерам и исследователям комплексное решение для быстрой разработки моделей под их конкретные задачи с временными рядами и их сравнения на множестве наборов данных временных рядов.

Ключевые возможности Merlion:

• Стандартизированная и легко расширяемая загрузка данных и бенчмаркинг для широкого круга наборов данных для прогнозирования и обнаружения аномалий. Включает прозрачную поддержку пользовательских наборов данных.
• Библиотека разнообразных моделей для обнаружения аномалий, прогнозирования и обнаружения точек изменения, объединенных общим интерфейсом. Модели включают классические статистические методы, ансамбли деревьев и подходы глубокого обучения. Опытные пользователи могут полностью настраивать каждую модель по своему желанию.
• Абстрактные модели DefaultDetector и DefaultForecaster, которые эффективны, стабильно показывают хорошие результаты и служат отправной точкой для новых пользователей.
• AutoML для автоматической настройки гиперпараметров и выбора моделей.
• Единый API для использования широкого спектра моделей прогнозирования с экзогенными регрессорами.
• Практичные правила постобработки для детекторов аномалий, вдохновленные отраслевыми задачами, которые делают оценки аномалий более интерпретируемыми и одновременно снижают количество ложных срабатываний.
• Простые в использовании ансамбли, которые объединяют выходные данные нескольких моделей для достижения более устойчивой производительности.
• Гибкие конвейеры оценки, которые имитируют «живое» развертывание и переобучение модели в производстве и оценивают производительность как при прогнозировании, так и при обнаружении аномалий.
• Встроенная поддержка визуализации прогнозов моделей, в том числе с помощью интерактивного визуального интерфейса.
• Распределенный вычислительный бэкенд на базе PySpark, который можно использовать для обслуживания приложений на временных рядах в промышленных масштабах.

Сравнение с аналогичными библиотеками

В приведенной ниже таблице наглядно показано, как ключевые возможности Merlion соотносятся с другими библиотеками для обнаружения аномалий и/или прогнозирования временных рядов.

	Merlion	Prophet	Alibi Detect	Kats	darts	statsmodels	nixtla	GluonTS	RRCF	STUMPY	Greykite	pmdarima
Прогнозирование одномерных рядов	✅	✅		✅	✅	✅	✅	✅			✅	✅
Прогнозирование многомерных рядов	✅			✅	✅	✅	✅	✅
Обнаружение аномалий в одномерных рядах	✅	✅	✅	✅	✅				✅	✅	✅	✅
Обнаружение аномалий в многомерных рядах	✅		✅	✅	✅				✅	✅
Предобработка	✅		✅	✅	✅		✅	✅			✅	✅
Постобработка	✅		✅
AutoML	✅			✅							✅
Ансамбли	✅			✅	✅					✅
Бенчмаркинг	✅				✅	✅	✅				✅
Визуализация	✅	✅		✅	✅						✅

Следующие возможности появились в Merlion 2.0:

	Merlion	Prophet	Alibi Detect	Kats	darts	statsmodels	nixtla	GluonTS	RRCF	STUMPY	Greykite	pmdarima
Экзогенные регрессоры	✅	✅			✅	✅					✅	✅
Обнаружение точек изменения	✅	✅	✅	✅							✅
Интерактивный визуальный интерфейс	✅
Распределенный бэкенд	✅						✅

Установка

Merlion состоит из двух подрепозиториев: merlion реализует основные функции библиотеки для интеллектуального анализа временных рядов, а ts_datasets предоставляет стандартизированные загрузчики данных для нескольких наборов данных временных рядов. Эти загрузчики загружают временные ряды как pandas.DataFrame s с сопутствующими метаданными.

Вы можете установить merlion из PyPI, выполнив pip install salesforce-merlion. Вы также можете установить из исходного кода, клонировав этот репозиторий и выполнив pip install Merlion/, или pip install -e Merlion/ для установки в режиме редактирования. Вы можете установить дополнительные зависимости через pip install salesforce-merlion[all] или, при установке из исходного кода, выполнив pip install "Merlion/[all]". В отдельности дополнительные зависимости включают dashboard для графической панели управления, spark для распределенного вычислительного бэкенда с PySpark и deep-learning для всех моделей глубокого обучения.

Чтобы установить пакет загрузки данных ts_datasets, клонируйте этот репозиторий и выполните pip install -e Merlion/ts_datasets/. Этот пакет необходимо устанавливать в режиме редактирования (то есть с флагом -e), если вы не хотите вручную указывать корневой каталог каждого набора данных при инициализации его загрузчика.

Обратите внимание на следующие внешние зависимости:

1. Некоторые из наших моделей прогнозирования зависят от OpenMP. Если вы используете conda, пожалуйста, выполните conda install -c conda-forge lightgbm перед установкой нашего пакета. Это гарантирует, что OpenMP будет настроен для работы с пакетом lightgbm (одной из наших зависимостей) в вашем окружении conda. Если вы используете Mac, установите Homebrew и выполните brew install libomp, чтобы библиотека OpenMP была доступна для модели.