Merlion: مكتبة تعلم آلي للسلاسل الزمنية

جدول المحتويات

1. مقدمة
2. المقارنة مع المكتبات ذات الصلة
3. التثبيت
4. التوثيق
5. بدء الاستخدام
   1. كشف الشذوذ
   2. التنبؤ
6. التقييم والمعايرة
7. التقرير الفني والاستشهاد بـ Merlion

مقدمة

Merlion هي مكتبة بايثون لذكاء السلاسل الزمنية. وهي توفر إطار عمل تعلم آلي متكامل يتضمن تحميل البيانات وتحويلها، وبناء النماذج وتدريبها، ومعالجة مخرجات النماذج، وتقييم أداء النماذج. وهي تدعم مهام تعلم متنوعة للسلاسل الزمنية، بما في ذلك التنبؤ، وكشف الشذوذ، وكشف نقاط التغيير لكل من السلاسل الزمنية أحادية المتغير ومتعددة المتغيرات. تهدف هذه المكتبة إلى تزويد المهندسين والباحثين بحل متكامل للتطوير السريع للنماذج وفقًا لاحتياجاتهم الخاصة بالسلاسل الزمنية، وتقييمها عبر مجموعات بيانات متعددة للسلاسل الزمنية.

الميزات الرئيسية لـ Merlion هي

• تحميل بيانات ومعايرة موحّدة وقابلة للتوسع بسهولة لمجموعة واسعة من مجموعات بيانات التنبؤ وكشف الشذوذ. ويشمل ذلك دعمًا شفافًا لمجموعات البيانات المخصصة.
• مكتبة نماذج متنوعة لكشف الشذوذ والتنبؤ وكشف نقاط التغيير، جميعها موحّدة تحت واجهة مشتركة. تتضمن النماذج طرقًا إحصائية كلاسيكية، وتجميعات أشجار القرار، وأساليب التعلم العميق. يمكن للمستخدمين المتقدمين تكوين كل نموذج بالكامل حسب الرغبة.
• نموذجا DefaultDetector و DefaultForecaster مجردان يتسمان بالكفاءة ويحققان أداءً جيدًا بشكل متين، ويشكلان نقطة انطلاق للمستخدمين الجدد.
• AutoML للضبط التلقائي للفائقات الفائقة واختيار النموذج.
• واجهة برمجة تطبيقات موحّدة لاستخدام مجموعة واسعة من النماذج للتنبؤ باستخدام المتغيرات الخارجية.
• قواعد معالجة لاحقة عملية مستوحاة من الصناعة لكاشفات الشذوذ تجعل درجات الشذوذ أكثر قابلية للتفسير، مع تقليل عدد النتائج الإيجابية الخاطئة.
• تجميعات سهلة الاستخدام تدمج مخرجات نماذج متعددة لتحقيق أداء أكثر متانة.
• خطوط معالجة تقييم مرنة تحاكي النشر المباشر وإعادة تدريب النموذج في بيئة الإنتاج، وتقييم الأداء على كل من التنبؤ وكشف الشذوذ.
• دعم أصلي لتصور تنبؤات النماذج، بما في ذلك واجهة مستخدم مرئية قابلة للنقر.
• واجهة خلفية حوسبة موزعة باستخدام PySpark، يمكن استخدامها لخدمة تطبيقات السلاسل الزمنية على النطاق الصناعي.

المقارنة مع المكتبات ذات الصلة

يعطي الجدول أدناه نظرة عامة مرئية حول كيفية مقارنة الميزات الرئيسية لـ Merlion بالمكتبات الأخرى الخاصة بكشف شذوذ السلاسل الزمنية و/أو التنبؤ بها.

	Merlion	Prophet	Alibi Detect	Kats	darts	statsmodels	nixtla	GluonTS	RRCF	STUMPY	Greykite	pmdarima
التنبؤ أحادي المتغير	✅	✅		✅	✅	✅	✅	✅			✅	✅
التنبؤ متعدد المتغيرات	✅			✅	✅	✅	✅	✅
كشف الشذوذ أحادي المتغير	✅	✅	✅	✅	✅				✅	✅	✅	✅
كشف الشذوذ متعدد المتغيرات	✅		✅	✅	✅				✅	✅
المعالجة المسبقة	✅		✅	✅	✅		✅	✅			✅	✅
المعالجة اللاحقة	✅		✅
AutoML	✅			✅						✅		✅
التجميعات	✅			✅	✅					✅
القياس المعياري	✅				✅	✅	✅				✅
التصور	✅	✅		✅	✅						✅

الميزات التالية جديدة في Merlion 2.0:

	Merlion	Prophet	Alibi Detect	Kats	darts	statsmodels	nixtla	GluonTS	RRCF	STUMPY	Greykite	pmdarima
المتغيرات الخارجية	✅	✅			✅	✅					✅	✅
كشف نقاط التغيير	✅	✅	✅	✅							✅
واجهة مستخدم مرئية قابلة للنقر	✅
الواجهة الخلفية الموزعة	✅						✅

التثبيت

تتكون Merlion من مستودعين فرعيين: merlion ينفذ ميزات ذكاء السلاسل الزمنية الأساسية للمكتبة، وts_datasets يوفر محمّلات بيانات موحدة لمجموعات بيانات متعددة للسلاسل الزمنية. تقوم هذه المحمّلات بتحميل السلاسل الزمنية كإطارات pandas.DataFrame مع بيانات وصفية مصاحبة.

يمكنك تثبيت merlion من PyPI عن طريق استدعاء pip install salesforce-merlion. يمكنك التثبيت من المصدر عن طريق استنساخ هذا المستودع واستدعاء pip install Merlion/، أو pip install -e Merlion/ للتثبيت في الوضع القابل للتحرير. يمكنك تثبيت تبعيات إضافية عبر pip install salesforce-merlion[all]، أو عن طريق استدعاء pip install "Merlion/[all]" إذا كنت تثبّت من المصدر. بشكل منفرد، تشمل التبعيات الاختيارية: dashboard للوحة تحكم رسومية، وspark لواجهة خلفية حوسبة موزعة باستخدام PySpark، وdeep-learning لجميع نماذج التعلم العميق.

لتثبيت حزمة تحميل البيانات ts_datasets، استنسخ هذا المستودع واستدعِ pip install -e Merlion/ts_datasets/. يجب تثبيت هذه الحزمة في الوضع القابل للتحرير (أي باستخدام علامة -e) إذا كنت لا تريد تحديد المجلد الجذري لكل مجموعة بيانات يدويًا عند تهيئة محمّل البيانات الخاص بها.

لاحظ التبعيات الخارجية التالية:

1. تعتمد بعض نماذج التنبؤ لدينا على OpenMP. إذا كنت تستخدم conda، فيرجى تنفيذ conda install -c conda-forge lightgbm قبل تثبيت حزمتنا. سيضمن ذلك تكوين OpenMP ليعمل مع حزمة lightgbm (أحد تبعياتنا) في بيئة conda الخاصة بك. إذا كنت تستخدم Mac، فيرجى تثبيت Homebrew واستدعاء brew install libomp بحيث تكون مكتبة OpenMP متاحة للنموذج.

2. تعتمد بعض نماذج كشف الشذوذ لدينا على مجموعة أدوات تطوير جافا (JDK). بالنسبة لأوبونتو، استدعِ sudo apt-get install openjdk-11-jdk. بالنسبة لنظام Mac OS، ثبّت Homebrew واستدعِ brew tap adoptopenjdk/openjdk && brew install --cask adoptopenjdk11. وتأكد أيضًا من إمكانية العثور على java في PATH الخاص بك، ومن تعيين متغير البيئة JAVA_HOME.

التوثيق

للحصول على أمثلة للتعليمات البرمجية ومقدمة عن Merlion، راجع دفاتر Jupyter في examples، والدليل الموجّه هنا. يمكنك العثور على توثيق مفصل لواجهة برمجة التطبيقات (بما في ذلك مثال للتعليمات البرمجية) هنا. يوضح التقرير الفني البنية العامة لـ Merlion ويعرض نتائج تجريبية حول كشف شذوذ السلاسل الزمنية والتنبؤ بها لكل من السلاسل الزمنية أحادية المتغير ومتعددة المتغيرات.

بدء الاستخدام

أسهل طريقة لبدء الاستخدام هي استخدام لوحة التحكم الرسومية المستندة إلى الويب. توفر هذه اللوحة طريقة رائعة للتجربة السريعة مع العديد من النماذج على مجموعات البيانات المخصصة الخاصة بك. لاستخدامها، ثبّت Merlion مع التبعية الاختيارية dashboard (أي pip install salesforce-merlion[dashboard])، واستدعِ python -m merlion.dashboard من سطر الأوامر. يمكنك عرض اللوحة على http://localhost:8050. أدناه، نعرض بعض لقطات الشاشة للوحة التحكم لكل من كشف الشذوذ والتنبؤ.