AI Explainability 360 (v0.3.0)

✨NUEVO: IBM Research tiene un nuevo kit de herramientas In-Context Explainability 360 (ICX360) que extiende la explicabilidad a los LLM, específicamente en cuanto a la entrada proporcionada al LLM. ¡Échale un vistazo! 🚀✨

El kit de herramientas AI Explainability 360 es una biblioteca de código abierto que permite la interpretabilidad y explicabilidad de conjuntos de datos y modelos de aprendizaje automático. El paquete de Python AI Explainability 360 incluye un conjunto completo de algoritmos que cubren diferentes dimensiones de las explicaciones junto con métricas proxy de explicabilidad. El kit de herramientas AI Explainability 360 es compatible con datos tabulares, texto, imágenes y series temporales.

La experiencia interactiva de AI Explainability 360 ofrece una introducción sencilla a los conceptos y capacidades mediante un caso de uso de ejemplo para diferentes perfiles de consumidores. Los tutoriales y cuadernos de ejemplo ofrecen una introducción más profunda, orientada a científicos de datos. La API completa también está disponible.

No existe un único enfoque de explicabilidad que funcione mejor. Hay muchas formas de explicar: datos frente a modelo, directamente interpretable frente a explicación post hoc, local frente a global, etc. Por lo tanto, puede resultar confuso determinar qué algoritmos son más apropiados para un caso de uso determinado. Para ayudar, hemos creado material de orientación y un árbol de taxonomía que pueden consultarse.

Hemos desarrollado el paquete pensando en la extensibilidad. Esta biblioteca aún está en desarrollo. Te animamos a contribuir con tus algoritmos de explicabilidad, métricas y casos de uso. Para empezar como colaborador, únete a la Comunidad AI Explainability 360 en Slack solicitando una invitación aquí. Revisa las instrucciones para contribuir con código y notebooks de Python aquí.

Algoritmos de explicabilidad compatibles

Explicaciones de datos

• ProtoDash (Gurumoorthy et al., 2019)
• Disentangled Inferred Prior VAE (Kumar et al., 2018)

Explicaciones post-hoc locales

• ProtoDash (Gurumoorthy et al., 2019)
• Contrastive Explanations Method (Dhurandhar et al., 2018)
• Contrastive Explanations Method with Monotonic Attribute Functions (Luss et al., 2019)
• Exemplar based Contrastive Explanations Method
• Grouped Conditional Expectation (Adaptación de Individual Conditional Expectation Plots de Goldstein et al. a una dimensión superior)
• LIME (Ribeiro et al. 2016, Github)
• SHAP (Lundberg, et al. 2017, Github)

Explicaciones post-hoc locales de series temporales

• Time Series Saliency Maps using Integrated Gradients (Inspirado por Sundararajan et al. )
• Time Series LIME (Adaptación de series temporales del artículo clásico de Ribeiro et al. 2016 )
• Time Series Individual Conditional Expectation (Adaptación de series temporales de Individual Conditional Expectation Plots Goldstein et al. )

Explicaciones directas locales

• Teaching AI to Explain its Decisions (Hind et al., 2019)
• Order Constraints in Optimal Transport (Lim et al.,2022, Github)

Certificación de explicaciones locales

• Trust Regions for Explanations via Black-Box Probabilistic Certification (Ecertify) (Dhurandhar et al., 2024)

Explicaciones directas globales

• Interpretable Model Differencing (IMD) (Haldar et al., 2023)
• CoFrNets (Continued Fraction Nets) (Puri et al., 2021)
• Boolean Decision Rules via Column Generation (Light Edition) (Dash et al., 2018)
• Generalized Linear Rule Models (Wei et al., 2019)
• Fast Effective Rule Induction (Ripper) (William W Cohen, 1995)

Explicaciones post-hoc globales

• ProfWeight (Dhurandhar et al., 2018)

Métricas de explicabilidad compatibles

• Faithfulness (Alvarez-Melis and Jaakkola, 2018)
• Monotonicity (Luss et al., 2019)

Configuración

Configuraciones compatibles:

(Opcional) Crear un entorno virtual

AI Explainability 360 requiere versiones específicas de muchos paquetes de Python que pueden entrar en conflicto con otros proyectos de tu sistema. Se recomienda encarecidamente un gestor de entornos virtuales para asegurar que las dependencias puedan instalarse de forma segura. Si tienes problemas para instalar el kit de herramientas, prueba esto primero.

Conda

Conda se recomienda para todas las configuraciones, aunque Virtualenv es generalmente intercambiable para nuestros propósitos. Miniconda es suficiente (consulta la diferencia entre Anaconda y Miniconda si tienes curiosidad) y puede instalarse desde aquí si aún no lo tienes.

Luego, crea un nuevo entorno de Python basado en los algoritmos de explicabilidad que deseas usar consultando la tabla anterior. Por ejemplo, para Python 3.10, usa el siguiente comando:

conda create --name aix360 python=3.10
conda activate aix360

El shell ahora debería verse como (aix360) $. Para desactivar el entorno, ejecuta:

(aix360)$ conda deactivate

El prompt volverá a $ o (base)$.

Nota: Las versiones antiguas de conda pueden usar source activate aix360 y source deactivate (activate aix360 y deactivate en Windows).

Instalación

Clona la última versión de este repositorio:

(aix360)$ git clone https://github.com/Trusted-AI/AIX360

Si deseas ejecutar los ejemplos y los tutoriales, descarga ahora los conjuntos de datos y colócalos en sus respectivas carpetas como se describe en aix360/data/README.md.

Luego, navega al directorio raíz del proyecto que contiene el archivo setup.py y ejecuta:

(aix360)$ pip install -e .[<algo1>,<algo2>, ...]

El comando anterior instala los paquetes requeridos por algoritmos específicos. Aquí <algo> se refiere a la palabra clave de instalación en la tabla anterior. Por ejemplo, para instalar los paquetes necesarios para los algoritmos BRCG, DIPVAE y TSICE, se podría usar

(aix360)$ pip install -e .[rbm,dipvae,tsice]

El comando por defecto pip install . instala únicamente las dependencias predeterminadas.

Ten en cuenta que es posible que no puedas instalar dos algoritmos que requieran diferentes versiones de Python en el mismo entorno (por ejemplo, contrastive junto con rbm).

Si tienes algún problema, intenta actualizar pip y setuptools y desinstala cualquier versión anterior de aix360 antes de intentar el paso anterior nuevamente.

(aix360)$ pip install --upgrade pip setuptools
(aix360)$ pip uninstall aix360

Instalación PIP de AI Explainability 360

Si deseas comenzar a usar rápidamente el kit de herramientas AI Explainability 360 sin clonar explícitamente este repositorio, puedes usar una de estas opciones:

• Instalar v0.3.0 mediante el enlace del repositorio

(your environment)$ pip install -e git+https://github.com/Trusted-AI/AIX360.git#egg=aix360[<algo1>,<algo2>,...]

Por ejemplo, usa pip install -e git+https://github.com/Trusted-AI/AIX360.git#egg=aix360[rbm,dipvae,tsice] para instalar BRCG, DIPVAE y TSICE. Es posible que necesites instalar cmake si aún no está instalado en tu entorno usando conda install cmake.

• Instalar v0.3.0 (o versiones anteriores) mediante pypi

(your environment)$ pip install aix360

Si sigues cualquiera de estas dos opciones, necesitarás descargar los notebooks disponibles en la carpeta examples por separado.

Cómo solucionar errores de instalación

El kit de herramientas AI Explainability 360 está probado en Windows, MacOS y Linux. Sin embargo, si aún tienes problemas de instalación debido a dependencias de paquetes, intenta instalar el paquete correspondiente a través de conda (por ejemplo, conda install package-name) y luego instala el kit siguiendo los pasos habituales. Por ejemplo, si tienes problemas relacionados con pygraphviz durante la instalación, usa conda install pygraphviz y luego instala el kit.

Usa el entorno de Python adecuado según la tabla anterior.

Ejecución en Docker

• En el directorio AIX360, construye la imagen del contenedor a partir del Dockerfile usando docker build -t aix360_docker .
• Inicia la imagen del contenedor usando el comando docker run -it -p 8888:8888 aix360_docker:latest bash, asumiendo que el puerto 8888 está libre en tu máquina.
• Dentro del contenedor, inicia jupyter lab usando el comando jupyter lab --allow-root --ip 0.0.0.0 --port 8888 --no-browser
• Accede a los tutoriales de ejemplo en tu máquina usando la URL localhost:8888

Uso de AI Explainability 360

El directorio examples contiene una colección diversa de notebooks de Jupyter que usan AI Explainability 360 de varias maneras. Tanto los ejemplos como los tutoriales ilustran código funcional usando el kit. Los tutoriales proporcionan discusión adicional que guía al usuario a través de los distintos pasos del notebook. Consulta los detalles sobre tutoriales y ejemplos aquí.

Cómo citar AI Explainability 360

Si estás usando AI Explainability 360 para tu trabajo, te animamos a

• Citar el siguiente artículo. La entrada bibtex es la siguiente:

@misc{aix360-sept-2019,
title = "One Explanation Does Not Fit All: A Toolkit and Taxonomy of AI Explainability Techniques",
author = {Vijay Arya and Rachel K. E. Bellamy and Pin-Yu Chen and Amit Dhurandhar and Michael Hind
and Samuel C. Hoffman and Stephanie Houde and Q. Vera Liao and Ronny Luss and Aleksandra Mojsilovi\'c
and Sami Mourad and Pablo Pedemonte and Ramya Raghavendra and John Richards and Prasanna Sattigeri
and Karthikeyan Shanmugam and Moninder Singh and Kush R. Varshney and Dennis Wei and Yunfeng Zhang},
month = sept,
year = {2019},
url = {https://arxiv.org/abs/1909.03012}
}

• Pon una estrella a este repositorio.

• Comparte tus historias de éxito con nosotros y con otros en la Comunidad AI Explainability 360.

Vídeos de AIX360

• Vídeo introductorio a AI Explainability 360 por Vijay Arya y Amit Dhurandhar, 5 de septiembre de 2019 (35 minutos)

Agradecimientos

AIX360 se construye con la ayuda de varios paquetes de código abierto. Todos están listados en setup.py y algunos de ellos incluyen:

• Tensorflow https://www.tensorflow.org/about/bib
• Pytorch https://github.com/pytorch/pytorch
• scikit-learn https://scikit-learn.org/stable/about.html

Información de licencia

Consulta tanto el archivo LICENSE como la carpeta licencia complementaria presente en el directorio raíz para obtener información sobre la licencia.