AI Explainability 360 (v0.3.0)

✨جديد: طوّرت IBM Research مجموعة أدوات جديدة باسم In-Context Explainability 360 (ICX360) تعمل على توسيع نطاق قابلية التفسير لتشمل نماذج اللغة الكبيرة (LLMs)، وتحديدًا فيما يتعلق بالمدخلات المُعطاة لنموذج اللغة الكبير. يرجى الاطلاع عليها! 🚀✨

مجموعة أدوات AI Explainability 360 هي مكتبة مفتوحة المصدر تدعم قابلية التفسير والفهم لمجموعات البيانات ونماذج التعلّم الآلي. تتضمن حزمة AI Explainability 360 بلغة Python مجموعة شاملة من الخوارزميات التي تغطي أبعادًا مختلفة للتفسيرات إلى جانب مقاييس بديلة لقابلية التفسير. وتدعم مجموعة أدوات AI Explainability 360 البيانات الجدولية والنصوص والصور وبيانات السلاسل الزمنية.

توفر التجربة التفاعلية لـ AI Explainability 360 مقدمة مبسّطة للمفاهيم والقدرات من خلال استعراض حالة استخدام نموذجية لشخصيات مستخدمين مختلفة. وتقدّم البرامج التعليمية ودفاتر الأمثلة مقدمة أعمق موجّهة لعلماء البيانات. كما تتوفر واجهة برمجة التطبيقات (API) الكاملة.

لا يوجد نهج واحد لقابلية التفسير يعمل بشكل أفضل في جميع الحالات. فهناك طرق عديدة للتفسير: البيانات مقابل النموذج، التفسير المباشر القابل للفهم مقابل التفسير اللاحق (post hoc)، التفسير المحلي مقابل الشامل، وغير ذلك. لذلك قد يكون من المربك تحديد الخوارزميات الأكثر ملاءمة لحالة استخدام معيّنة. وللمساعدة، أنشأنا بعض المواد الإرشادية وشجرة تصنيف يمكن الرجوع إليها.

لقد طوّرنا الحزمة مع مراعاة قابلية التوسّع. هذه المكتبة لا تزال قيد التطوير. نشجّعك على المساهمة بخوارزميات التفسير والمقاييس وحالات الاستخدام الخاصة بك. للبدء كمساهم، يرجى الانضمام إلى مجتمع AI Explainability 360 على Slack عن طريق طلب دعوة هنا. يرجى مراجعة التعليمات الخاصة بالمساهمة بالكود ودفاتر Python هنا.

خوارزميات التفسير المدعومة

تفسيرات البيانات

• ProtoDash (Gurumoorthy et al., 2019)
• Disentangled Inferred Prior VAE (Kumar et al., 2018)

تفسيرات محلية لاحقة (post-hoc)

• ProtoDash (Gurumoorthy et al., 2019)
• Contrastive Explanations Method (Dhurandhar et al., 2018)
• Contrastive Explanations Method with Monotonic Attribute Functions (Luss et al., 2019)
• Exemplar based Contrastive Explanations Method
• Grouped Conditional Expectation (تكييف لمخططات التوقع الشرطي الفردي (Individual Conditional Expectation Plots) من Goldstein وآخرون إلى أبعاد أعلى)
• LIME (Ribeiro وآخرون 2016، Github)
• SHAP (Lundberg وآخرون 2017، Github)

تفسيرات محلية لاحقة للسلاسل الزمنية (Time-Series)

• Time Series Saliency Maps using Integrated Gradients (مستوحاة من Sundararajan وآخرون)
• Time Series LIME (تكييف سلسلة زمنية للورقة الكلاسيكية من Ribeiro وآخرون 2016)
• Time Series Individual Conditional Expectation (تكييف سلسلة زمنية لمخططات التوقع الشرطي الفردي (Individual Conditional Expectation Plots) Goldstein وآخرون)

تفسيرات محلية مباشرة

• تعليم الذكاء الاصطناعي شرحَ قراراته (Hind وآخرون، 2019)
• قيود الترتيب في النقل الأمثل (Order Constraints in Optimal Transport) (Lim وآخرون، 2022، Github)

التصديق على التفسيرات المحلية

• Trust Regions for Explanations via Black-Box Probabilistic Certification (Ecertify) (Dhurandhar وآخرون، 2024)

تفسيرات مباشرة شاملة

• المفاضلة بين النماذج بطريقة قابلة للتفسير (Interpretable Model Differencing) (IMD) (Haldar وآخرون، 2023)
• CoFrNets (شبكات الكسور المستمرة — Continued Fraction Nets) (Puri وآخرون، 2021)
• قواعد القرار البوليانية عبر توليد الأعمدة (الإصدار الخفيف) (Dash وآخرون، 2018)
• نماذج القواعد الخطية المعممة (Wei وآخرون، 2019)
• الاستقراء السريع الفعّال للقواعد (Ripper) (William W Cohen, 1995)

تفسيرات لاحقة شاملة

• ProfWeight (Dhurandhar et al., 2018)

مقاييس قابلية التفسير المدعومة

• الإخلاص (Faithfulness) (Alvarez-Melis وJaakkola، 2018)
• الرتابة (Monotonicity) (Luss وآخرون، 2019)

الإعداد

الإعدادات المدعومة:

(اختياري) إنشاء بيئة افتراضية

تتطلب AI Explainability 360 إصدارات محددة من العديد من حزم Python قد تتعارض مع مشاريع أخرى على نظامك. يُنصح بشدة باستخدام مدير بيئة افتراضية لضمان إمكانية تثبيت التبعيات بأمان. إذا واجهت مشكلة في تثبيت مجموعة الأدوات، فجرّب هذا أولًا.

Conda

يُوصى باستخدام Conda لجميع الإعدادات، على الرغم من أن Virtualenv قابل للتبديل بشكل عام لأغراضنا. وتكفي Miniconda (راجع الفرق بين Anaconda وMiniconda إذا كنت مهتمًا) ويمكن تثبيتها من هنا إذا لم تكن مثبتة لديك بالفعل.

بعد ذلك، أنشئ بيئة Python جديدة بناءً على خوارزميات التفسير التي ترغب في استخدامها بالرجوع إلى الجدول أعلاه. على سبيل المثال، لإصدار Python 3.10، استخدم الأمر التالي:

conda create --name aix360 python=3.10
conda activate aix360

يجب أن يظهر سطر الأوامر الآن بالشكل (aix360) $. لإلغاء تنشيط البيئة، شغّل:

(aix360)$ conda deactivate

سيعود موجه الأوامر إلى $ أو (base)$.

ملاحظة: قد تستخدم الإصدارات الأقدم من conda الأمرين source activate aix360 وsource deactivate (أو activate aix360 وdeactivate على Windows).

التثبيت

استنسخ أحدث إصدار من هذا المستودع:

(aix360)$ git clone https://github.com/Trusted-AI/AIX360

إذا كنت ترغب في تشغيل الأمثلة والدفاتر التعليمية، فقم بتنزيل مجموعات البيانات الآن وضعها في المجلدات المخصصة لها كما هو موضح في aix360/data/README.md.

بعد ذلك، انتقل إلى الدليل الجذر للمشروع الذي يحتوي على ملف setup.py وشغّل:

(aix360)$ pip install -e .[<algo1>,<algo2>, ...]

يؤدي الأمر أعلاه إلى تثبيت الحزم المطلوبة بواسطة خوارزميات محددة. ويشير <algo> هنا إلى كلمة التثبيت الواردة في الجدول أعلاه. على سبيل المثال، لتثبيت الحزم التي تحتاجها خوارزميات BRCG وDIPVAE وTSICE، يمكنك استخدام:

(aix360)$ pip install -e .[rbm,dipvae,tsice]

أما الأمر الافتراضي pip install . فيثبّت التبعيات الافتراضية فقط.

لاحظ أنه قد لا تتمكن من تثبيت خوارزميتين تتطلبان إصدارين مختلفين من Python في نفس البيئة (على سبيل المثال contrastive مع rbm).

إذا واجهت أي مشكلات، فيرجى محاولة ترقية pip وsetuptools وإلغاء تثبيت أي إصدارات سابقة من aix360 قبل إعادة محاولة الخطوة أعلاه.

(aix360)$ pip install --upgrade pip setuptools
(aix360)$ pip uninstall aix360

تثبيت AI Explainability 360 عبر PIP

إذا كنت ترغب في البدء سريعًا في استخدام مجموعة أدوات AI Explainability 360 دون استنساخ هذا المستودع صراحةً، يمكنك استخدام أحد الخيارات التالية:

• تثبيت الإصدار v0.3.0 عبر رابط المستودع

(your environment)$ pip install -e git+https://github.com/Trusted-AI/AIX360.git#egg=aix360[<algo1>,<algo2>,...]

على سبيل المثال، استخدم pip install -e git+https://github.com/Trusted-AI/AIX360.git#egg=aix360[rbm,dipvae,tsice] لتثبيت BRCG وDIPVAE وTSICE. قد تحتاج أيضًا إلى تثبيت cmake إذا لم يكن مثبتًا بالفعل في بيئتك باستخدام conda install cmake.

• تثبيت الإصدار v0.3.0 (أو الإصدارات السابقة) عبر pypi

(your environment)$ pip install aix360

إذا اتبعت أيًا من هذين الخيارين، فستحتاج إلى تنزيل الدفاتر المتوفرة في مجلد examples بشكل منفصل.

التعامل مع أخطاء التثبيت

مجموعة أدوات AI Explainability 360 مُختبَرة على أنظمة Windows وMacOS وLinux. ومع ذلك، إذا كنت لا تزال تواجه مشكلات في التثبيت بسبب تبعيات الحزم، فيرجى محاولة تثبيت الحزمة المقابلة عبر conda (مثل: conda install package-name) ثم تثبيت مجموعة الأدوات باتباع الخطوات المعتادة. على سبيل المثال، إذا واجهت مشكلات متعلقة بـ pygraphviz أثناء التثبيت، فاستخدم conda install pygraphviz ثم ثبّت مجموعة الأدوات.

يرجى استخدام بيئة Python الصحيحة بناءً على الجدول أعلاه.

التشغيل في Docker

• داخل دليل AIX360، أنشئ صورة الحاوية من Dockerfile باستخدام docker build -t aix360_docker .
• شغّل صورة الحاوية باستخدام الأمر docker run -it -p 8888:8888 aix360_docker:latest bash بافتراض أن المنفذ 8888 متاح على جهازك.
• داخل الحاوية، ابدأ تشغيل Jupyter Lab باستخدام الأمر jupyter lab --allow-root --ip 0.0.0.0 --port 8888 --no-browser
• يمكنك الوصول إلى البرامج التعليمية النموذجية على جهازك باستخدام الرابط localhost:8888

استخدام AI Explainability 360

يحتوي دليل examples على مجموعة متنوعة من دفاتر Jupyter التي تستخدم AI Explainability 360 بطرق مختلفة. وتوضح كل من دفاتر الأمثلة والبرامج التعليمية كودًا عمليًا يستخدم مجموعة الأدوات. وتوفّر البرامج التعليمية نقاشًا إضافيًا يرشد المستخدم عبر الخطوات المختلفة للدفتر. اطّلع على التفاصيل حول البرامج التعليمية والأمثلة هنا.

الاستشهاد بـ AI Explainability 360

إذا كنت تستخدم AI Explainability 360 في عملك، فنحن نشجّعك على:

• الاستشهاد بالورقة البحثية التالية. إدخال BibTeX كما يلي:

@misc{aix360-sept-2019,
title = "One Explanation Does Not Fit All: A Toolkit and Taxonomy of AI Explainability Techniques",
author = {Vijay Arya and Rachel K. E. Bellamy and Pin-Yu Chen and Amit Dhurandhar and Michael Hind
and Samuel C. Hoffman and Stephanie Houde and Q. Vera Liao and Ronny Luss and Aleksandra Mojsilovi\'c
and Sami Mourad and Pablo Pedemonte and Ramya Raghavendra and John Richards and Prasanna Sattigeri
and Karthikeyan Shanmugam and Moninder Singh and Kush R. Varshney and Dennis Wei and Yunfeng Zhang},
month = sept,
year = {2019},
url = {https://arxiv.org/abs/1909.03012}
}

• وضع نجمة على هذا المستودع.

• مشاركة قصص نجاحك معنا ومع الآخرين في مجتمع AI Explainability 360.

فيديوهات AIX360

• فيديو تعريفي بـ AI Explainability 360 من تقديم Vijay Arya وAmit Dhurandhar، 5 سبتمبر 2019 (35 دقيقة)

الشكر والتقدير

تم بناء AIX360 بمساعدة عدة حزم مفتوحة المصدر. جميعها مدرجة في ملف setup.py وبعضها يشمل:

• Tensorflow https://www.tensorflow.org/about/bib
• Pytorch https://github.com/pytorch/pytorch
• scikit-learn https://scikit-learn.org/stable/about.html

معلومات الترخيص

يرجى الاطلاع على ملف LICENSE ومجلد الترخيص التكميلي الموجود في الدليل الجذر للحصول على معلومات الترخيص.