AI Explainability 360 (v0.3.0)

✨NOUVEAU : IBM Research a publié une nouvelle boîte à outils In-Context Explainability 360 (ICX360) qui étend l'explicabilité aux LLM, notamment en ce qui concerne l'entrée fournie au LLM. Allez y jeter un œil ! 🚀✨

La boîte à outils AI Explainability 360 est une bibliothèque open source qui prend en charge l'interprétabilité et l'explicabilité des ensembles de données et des modèles d'apprentissage automatique. Le package Python AI Explainability 360 comprend un ensemble complet d'algorithmes qui couvrent différentes dimensions des explications ainsi que des métriques d'explicabilité proxy. La boîte à outils AI Explainability 360 prend en charge les données tabulaires, les données textuelles, les images et les séries temporelles.

L'expérience interactive AI Explainability 360 offre une introduction en douceur aux concepts et aux fonctionnalités en parcourant un exemple de cas d'utilisation pour différents personas de consommateurs. Les tutoriels et notebooks d'exemples offrent une introduction plus approfondie, orientée data scientist. L'API complète est également disponible.

Il n'existe pas d'approche unique de l'explicabilité qui fonctionne le mieux. Il existe de nombreuses façons d'expliquer : données vs. modèle, explication directement interprétable vs. explication post hoc, locale vs. globale, etc. Il peut donc être déroutant de déterminer quels algorithmes sont les plus appropriés pour un cas d'utilisation donné. Pour vous aider, nous avons créé du matériel d'orientation et un arbre de taxonomie qui peuvent être consultés.

Nous avons développé le package dans un souci d'extensibilité. Cette bibliothèque est encore en développement. Nous vous encourageons à apporter vos algorithmes d'explicabilité, vos métriques et vos cas d'utilisation. Pour commencer en tant que contributeur, veuillez rejoindre la communauté AI Explainability 360 sur Slack en demandant une invitation ici. Veuillez consulter les instructions pour contribuer du code et des notebooks Python ici.

Algorithmes d'explicabilité pris en charge

Explications des données

• ProtoDash (Gurumoorthy et al., 2019)
• Disentangled Inferred Prior VAE (Kumar et al., 2018)

Explications locales post-hoc

• ProtoDash (Gurumoorthy et al., 2019)
• Contrastive Explanations Method (Dhurandhar et al., 2018)
• Contrastive Explanations Method with Monotonic Attribute Functions (Luss et al., 2019)
• Exemplar based Contrastive Explanations Method
• Grouped Conditional Expectation (Adaptation des diagrammes d'espérance conditionnelle individuelle de Goldstein et al. à une dimension supérieure )
• LIME (Ribeiro et al. 2016, Github)
• SHAP (Lundberg, et al. 2017, Github)

Explications locales post-hoc pour séries temporelles

• Time Series Saliency Maps using Integrated Gradients (Inspiré par Sundararajan et al. )
• Time Series LIME (Adaptation aux séries temporelles de l'article classique de Ribeiro et al. 2016 )
• Time Series Individual Conditional Expectation (Adaptation aux séries temporelles des diagrammes d'espérance conditionnelle individuelle Goldstein et al. )

Explications locales directes

• Teaching AI to Explain its Decisions (Hind et al., 2019)
• Order Constraints in Optimal Transport (Lim et al.,2022, Github)

Certification des explications locales

• Trust Regions for Explanations via Black-Box Probabilistic Certification (Ecertify) (Dhurandhar et al., 2024)

Explications globales directes

• Interpretable Model Differencing (IMD) (Haldar et al., 2023)
• CoFrNets (Continued Fraction Nets) (Puri et al., 2021)
• Boolean Decision Rules via Column Generation (Light Edition) (Dash et al., 2018)
• Generalized Linear Rule Models (Wei et al., 2019)
• Fast Effective Rule Induction (Ripper) (William W Cohen, 1995)

Explications globales post-hoc

• ProfWeight (Dhurandhar et al., 2018)

Métriques d'explicabilité prises en charge

• Faithfulness (Alvarez-Melis and Jaakkola, 2018)
• Monotonicity (Luss et al., 2019)

Configuration

Configurations prises en charge :

(Facultatif) Créer un environnement virtuel

AI Explainability 360 nécessite des versions spécifiques de nombreux packages Python qui peuvent entrer en conflit avec d'autres projets sur votre système. Un gestionnaire d'environnement virtuel est fortement recommandé pour garantir que les dépendances peuvent être installées en toute sécurité. Si vous rencontrez des problèmes lors de l'installation de la boîte à outils, essayez d'abord cela.

Conda

Conda est recommandé pour toutes les configurations, même si Virtualenv est généralement interchangeable pour nos besoins. Miniconda suffit (voir la différence entre Anaconda et Miniconda si vous êtes curieux) et peut être installé à partir d'ici si vous ne l'avez pas déjà.

Ensuite, créez un nouvel environnement Python en fonction des algorithmes d'explicabilité que vous souhaitez utiliser, en vous référant au tableau ci-dessus. Par exemple, pour Python 3.10, utilisez la commande suivante :

conda create --name aix360 python=3.10
conda activate aix360

Le shell devrait maintenant ressembler à (aix360) $. Pour désactiver l'environnement, exécutez :

(aix360)$ conda deactivate

L'invite de commande reviendra à $ ou (base)$.

Remarque : les versions plus anciennes de conda peuvent utiliser source activate aix360 et source deactivate (activate aix360 et deactivate sous Windows).

Installation

Clonez la dernière version de ce dépôt :

(aix360)$ git clone https://github.com/Trusted-AI/AIX360

Si vous souhaitez exécuter les exemples et les notebooks de tutoriels, téléchargez les jeux de données maintenant et placez-les dans leurs dossiers respectifs, comme décrit dans aix360/data/README.md.

Ensuite, accédez au répertoire racine du projet qui contient le fichier setup.py et exécutez :

(aix360)$ pip install -e .[<algo1>,<algo2>, ...]

La commande ci-dessus installe les packages requis par des algorithmes spécifiques. Ici, <algo> fait référence au mot-clé d'installation dans le tableau ci-dessus. Par exemple, pour installer les packages nécessaires aux algorithmes BRCG, DIPVAE et TSICE, on pourrait utiliser

(aix360)$ pip install -e .[rbm,dipvae,tsice]

La commande par défaut pip install . installe uniquement les dépendances par défaut.

Notez que vous ne pourrez peut-être pas installer deux algorithmes qui nécessitent des versions différentes de Python dans le même environnement (par exemple contrastive avec rbm).

Si vous rencontrez des problèmes, essayez de mettre à niveau pip et setuptools et de désinstaller toute version précédente d'aix360 avant de réessayer l'étape ci-dessus.

(aix360)$ pip install --upgrade pip setuptools
(aix360)$ pip uninstall aix360

Installation PIP de AI Explainability 360

Si vous souhaitez commencer rapidement à utiliser la boîte à outils AI Explainability 360 sans cloner explicitement ce dépôt, vous pouvez utiliser l'une de ces options :

• Installer v0.3.0 via le lien du dépôt

(your environment)$ pip install -e git+https://github.com/Trusted-AI/AIX360.git#egg=aix360[<algo1>,<algo2>,...]

Par exemple, utilisez pip install -e git+https://github.com/Trusted-AI/AIX360.git#egg=aix360[rbm,dipvae,tsice] pour installer BRCG, DIPVAE et TSICE. Vous devrez peut-être installer cmake s'il n'est pas déjà installé dans votre environnement, à l'aide de conda install cmake.

• Installer v0.3.0 (ou les versions précédentes) via pypi

(your environment)$ pip install aix360

Si vous suivez l'une de ces deux options, vous devrez télécharger séparément les notebooks disponibles dans le dossier examples.

Gérer les erreurs d'installation

La boîte à outils AI Explainability 360 est testée sur Windows, macOS et Linux. Toutefois, si vous rencontrez toujours des problèmes d'installation dus aux dépendances de packages, essayez d'installer le package correspondant via conda (par exemple conda install package-name), puis installez la boîte à outils en suivant les étapes habituelles. Par exemple, si vous rencontrez des problèmes liés à pygraphviz lors de l'installation, utilisez conda install pygraphviz, puis installez la boîte à outils.

Veuillez utiliser le bon environnement Python en fonction du tableau ci-dessus.

Exécution dans Docker

• Dans le répertoire AIX360, construisez l'image du conteneur à partir du Dockerfile en utilisant docker build -t aix360_docker .
• Démarrez l'image du conteneur avec la commande docker run -it -p 8888:8888 aix360_docker:latest bash, en supposant que le port 8888 est libre sur votre machine.
• Dans le conteneur, démarrez jupyter lab avec la commande jupyter lab --allow-root --ip 0.0.0.0 --port 8888 --no-browser
• Accédez aux exemples de tutoriels sur votre machine en utilisant l'URL localhost:8888

Utilisation d'AI Explainability 360

Le répertoire examples contient une collection variée de notebooks Jupyter qui utilisent AI Explainability 360 de différentes manières. Les exemples et les notebooks de tutoriels illustrent un code fonctionnel utilisant la boîte à outils. Les tutoriels fournissent des discussions supplémentaires qui guident l'utilisateur à travers les différentes étapes du notebook. Voir les détails sur les tutoriels et les exemples ici.

Citer AI Explainability 360

Si vous utilisez AI Explainability 360 pour votre travail, nous vous encourageons à

• Citer l'article suivant. L'entrée BibTeX est la suivante :

@misc{aix360-sept-2019,
title = "One Explanation Does Not Fit All: A Toolkit and Taxonomy of AI Explainability Techniques",
author = {Vijay Arya and Rachel K. E. Bellamy and Pin-Yu Chen and Amit Dhurandhar and Michael Hind
and Samuel C. Hoffman and Stephanie Houde and Q. Vera Liao and Ronny Luss and Aleksandra Mojsilovi\'c
and Sami Mourad and Pablo Pedemonte and Ramya Raghavendra and John Richards and Prasanna Sattigeri
and Karthikeyan Shanmugam and Moninder Singh and Kush R. Varshney and Dennis Wei and Yunfeng Zhang},
month = sept,
year = {2019},
url = {https://arxiv.org/abs/1909.03012}
}

• Mettre une étoile sur ce dépôt.

• Partager vos réussites avec nous et avec les autres membres de la communauté AI Explainability 360.

Vidéos AIX360

• Vidéo d'introduction à AI Explainability 360 par Vijay Arya et Amit Dhurandhar, 5 septembre 2019 (35 min)

Remerciements

AIX360 est construit avec l'aide de plusieurs packages open source. Tous sont répertoriés dans setup.py et certains d'entre eux incluent :

• Tensorflow https://www.tensorflow.org/about/bib
• Pytorch https://github.com/pytorch/pytorch
• scikit-learn https://scikit-learn.org/stable/about.html

Informations sur la licence

Veuillez consulter à la fois le fichier LICENSE et le dossier licence supplémentaire présent dans le répertoire racine pour obtenir des informations sur la licence.