Responsible AI Toolbox

La IA responsable es un enfoque para evaluar, desarrollar e implementar sistemas de IA de manera segura, confiable y ética, y tomar decisiones y acciones responsables.

Responsible AI Toolbox es un conjunto de herramientas que ofrece una colección de interfaces de usuario y bibliotecas de exploración y evaluación de modelos y datos que permiten comprender mejor los sistemas de IA. Estas interfaces y bibliotecas empoderan a los desarrolladores y a las partes interesadas de los sistemas de IA para desarrollar y supervisar la IA de manera más responsable y tomar mejores acciones basadas en datos.

El Toolbox consta de tres repositorios:

Introducción a Responsible AI dashboard

Responsible AI dashboard es un panel unificado que le permite recorrer fácilmente diferentes etapas de depuración de modelos y toma de decisiones. Esta experiencia personalizable puede orientarse en múltiples direcciones, desde analizar el modelo o los datos de forma integral, hasta realizar un análisis profundo o una comparación de cohortes de interés, explicar y modificar las predicciones del modelo para instancias individuales, e informar a los usuarios sobre decisiones y acciones empresariales.

Para lograr estas capacidades, el panel integra ideas y tecnologías de varios kits de herramientas de código abierto en las áreas de

• Error Analysis impulsado por Error Analysis, que identifica cohortes de datos con una tasa de error más alta que la referencia general. Estas discrepancias pueden ocurrir cuando el sistema o el modelo tiene un rendimiento inferior para grupos demográficos específicos o condiciones de entrada observadas con poca frecuencia en los datos de entrenamiento.

• Evaluación de equidad impulsada por Fairlearn, que identifica qué grupos de personas pueden verse afectados de manera desproporcionadamente negativa por un sistema de IA y de qué maneras.

• Interpretabilidad de modelos impulsada por InterpretML, que explica los modelos de caja negra y ayuda a los usuarios a comprender el comportamiento global de su modelo o las razones detrás de predicciones individuales.

• Análisis contrafactual impulsado por DiCE, que muestra versiones del mismo punto de datos con características modificadas que habrían recibido un resultado de predicción diferente, por ejemplo, el préstamo de Taylor fue rechazado por el modelo, pero lo habría recibido si sus ingresos fueran $10,000 más altos.

• Análisis causal impulsado por EconML, que se centra en responder preguntas de tipo "¿Qué pasaría si...?" para aplicar la toma de decisiones basada en datos: ¿cómo se verían afectados los ingresos si una corporación adopta una nueva estrategia de precios? ¿Mejoraría un nuevo medicamento la condición de un paciente, manteniendo todo lo demás constante?

• Equilibrio de datos impulsado por Responsible AI, que ayuda a los usuarios a obtener una comprensión general de sus datos, identificar características que reciben el resultado positivo más que otras y visualizar las distribuciones de las características.

Responsible AI dashboard está diseñado para lograr los siguientes objetivos:

• Ayudar a acelerar aún más los procesos de ingeniería en el aprendizaje automático al permitir que los profesionales diseñen flujos de trabajo personalizables y adapten los paneles de Responsible AI que mejor se ajusten a sus escenarios de evaluación de modelos y toma de decisiones basada en datos.
• Ayudar a los desarrolladores de modelos a crear experiencias de depuración fluidas de extremo a extremo y navegar sin problemas por la identificación y el diagnóstico de errores mediante visualizaciones interactivas que identifican errores, inspeccionan los datos, generan explicaciones globales y locales de los modelos y, potencialmente, inspeccionan ejemplos problemáticos.
• Ayudar a las partes interesadas del negocio a explorar las relaciones causales en los datos y tomar decisiones informadas en el mundo real.

Este repositorio contiene los cuadernos de Jupyter con ejemplos que muestran cómo usar este widget. Comience aquí.

Instalación

Utilice el siguiente comando pip para instalar Responsible AI Toolbox.

Si está ejecutando en jupyter, asegúrese de reiniciar el kernel de jupyter después de la instalación.

pip install raiwidgets

Personalización de Responsible AI dashboard

La fortaleza de Responsible AI Toolbox radica en su personalización. Permite a los usuarios diseñar flujos de trabajo personalizados de depuración de modelos y toma de decisiones de extremo a extremo que aborden sus necesidades particulares. ¿Necesita inspiración? Aquí hay algunos ejemplos de cómo se pueden combinar los componentes de Toolbox para analizar escenarios de diferentes maneras:

Tenga en cuenta que los componentes de descripción general del modelo (incluido el análisis de equidad) y el explorador de datos están activados de forma predeterminada.  

Enlaces útiles

• Realice un recorrido por Responsible AI Dashboard
• Primeros pasos

Ejemplos tabulares:

• Pruebe la herramienta: tome decisiones para mejoras de vivienda (toma de decisiones)
• Pruebe la herramienta: proporcione recomendaciones a pacientes usando datos de diabetes (toma de decisiones)
• Pruebe la herramienta: depuración de modelos de un modelo de predicción de ingresos del censo (clasificación)
• Pruebe la herramienta: depuración de modelos de un modelo de predicción de precios de vivienda (clasificación)
• Pruebe la herramienta: depuración de modelos de un modelo de predicción de progresión de la diabetes (regresión)

Ejemplos de texto:

• Pruebe la herramienta: depuración de modelos de un modelo de preguntas y respuestas de OpenAI en SQuAD
• Pruebe la herramienta: depuración de modelos de un modelo de preguntas y respuestas de HuggingFace en SQuAD
• Pruebe la herramienta: depuración de modelos de un modelo de clasificación de texto DBPedia
• Pruebe la herramienta: depuración de modelos de un modelo binario de clasificación de texto
• Pruebe la herramienta: depuración de modelos de un modelo de clasificación de texto multietiqueta COVID-19

Ejemplos de visión:

• Pruebe la herramienta: depuración de modelos de un modelo de clasificación de imágenes de nevera
• Pruebe la herramienta: depuración de modelos de un modelo multietiqueta de clasificación de imágenes de nevera
• Pruebe la herramienta: depuración de modelos de un modelo de detección de objetos en nevera

Modelos compatibles

Esta API de Responsible AI Toolbox admite modelos entrenados con conjuntos de datos en formato numpy.ndarray, pandas.DataFrame, iml.datatypes.DenseData o scipy.sparse.csr_matrix de Python.

Las funciones de explicación de Interpret-Community aceptan tanto modelos como pipelines como entrada siempre que el modelo o el pipeline implemente una función predict o predict_proba que cumpla con la convención de Scikit. Si no es compatible, puede envolver la función de predicción de su modelo en una función wrapper que transforme la salida al formato admitido (predict o predict_proba de Scikit) y pasar esa función wrapper a las técnicas de interpretabilidad seleccionadas.

Si se proporciona un script de pipeline, la función de explicación asume que el script de pipeline en ejecución devuelve una predicción. El repositorio también admite modelos entrenados con los frameworks de aprendizaje profundo PyTorch, TensorFlow y Keras.

Otros casos de uso

Las herramientas de Responsible AI Toolbox también pueden usarse con modelos de IA ofrecidos como API por proveedores como Azure Cognitive Services. Para ver ejemplos de casos de uso, consulte las carpetas a continuación:

• Pruebas de equidad de voz a texto de Cognitive Services
• Pruebas de equidad de verificación facial de Cognitive Services

Mantenedores

• Ke Xu
• Roman Lutz
• Ilya Matiach
• Gaurav Gupta
• Vinutha Karanth
• Tong Yu
• Ruby Zhu
• Mehrnoosh Sameki
• Hannah Westra
• Ziqi Ma
• Kin Chan