microsoft/responsible-ai-toolboxPaneles interactivos y bibliotecas para la depuración responsable de modelos de IA, que cubren análisis de errores, equidad, interpretabilidad, contrafactuales, análisis causal y equilibrio de datos.
La IA responsable es un enfoque para evaluar, desarrollar e implementar sistemas de IA de manera segura, confiable y ética, y tomar decisiones y acciones responsables.
Responsible AI Toolbox es un conjunto de herramientas que ofrece una colección de interfaces de usuario y bibliotecas de exploración y evaluación de modelos y datos que permiten comprender mejor los sistemas de IA. Estas interfaces y bibliotecas empoderan a los desarrolladores y a las partes interesadas de los sistemas de IA para desarrollar y supervisar la IA de manera más responsable y tomar mejores acciones basadas en datos.
El Toolbox consta de tres repositorios:
| Repository | Tools Covered |
|---|---|
| Responsible-AI-Toolbox Repository (Here) | Este repositorio contiene cuatro widgets de visualización para la evaluación de modelos y la toma de decisiones: 1. Responsible AI dashboard, un panel unificado que reúne varias herramientas maduras de IA responsable del toolbox para una evaluación responsable integral y la depuración de modelos, así como para tomar decisiones empresariales informadas. Con este panel, puede identificar errores del modelo, diagnosticar por qué ocurren esos errores y mitigarlos. Además, las capacidades de toma de decisiones causales proporcionan información práctica a las partes interesadas y a los clientes. 2. Error Analysis dashboard, para identificar errores del modelo y descubrir cohortes de datos en las que el modelo tiene un rendimiento inferior. 3. Interpretability dashboard, para comprender las predicciones del modelo. Este panel funciona con InterpretML. 4. Fairness dashboard, para comprender los problemas de equidad del modelo mediante diversas métricas de equidad grupal en características sensibles y cohortes. Este panel funciona con Fairlearn. |
| Responsible-AI-Toolbox-Mitigations Repository | La biblioteca Responsible AI Mitigations ayuda a los profesionales de IA a explorar diferentes mediciones y pasos de mitigación que pueden ser más apropiados cuando el modelo tiene un rendimiento inferior para una cohorte de datos determinada. La biblioteca cuenta actualmente con dos módulos: 1. DataProcessing, que ofrece técnicas de mitigación para mejorar el rendimiento del modelo para cohortes específicas. 2. DataBalanceAnalysis, que proporciona métricas para diagnosticar errores que se originan por desequilibrio de datos, ya sea en las etiquetas de clase o en los valores de las características. 3. Cohort: proporciona clases para manejar y gestionar cohortes, lo que permite la creación de pipelines personalizados para cada cohorte mediante una interfaz fácil e intuitiva. El módulo también proporciona técnicas para aprender diferentes estimadores desacoplados (modelos) para diferentes cohortes y combinarlos de una manera que optimice diferentes definiciones de equidad grupal. |
| Responsible-AI-Tracker Repository | Responsible AI Toolbox Tracker es una extensión de JupyterLab para gestionar, rastrear y comparar resultados de experimentos de aprendizaje automático para la mejora de modelos. Con esta extensión, los usuarios pueden ver modelos, código y artefactos de visualización dentro del mismo marco, lo que permite procesos rápidos de iteración y evaluación de modelos. Las funcionalidades principales incluyen: 1. Gestión y vinculación de artefactos de mejora de modelos 2. Evaluación y comparaciones de modelos desagregados 3. Integración con la biblioteca Responsible AI Mitigations 4. Integración con mlflow |
| Responsible-AI-Toolbox-GenBit Repository | La biblioteca Responsible AI Gender Bias (GenBit) ayuda a los profesionales de IA a medir el sesgo de género en conjuntos de datos de Procesamiento de Lenguaje Natural (NLP). El objetivo principal de GenBit es analizar sus corpus de texto y calcular métricas que brinden información sobre el sesgo de género presente en un corpus. |
Responsible AI dashboard es un panel unificado que le permite recorrer fácilmente diferentes etapas de depuración de modelos y toma de decisiones. Esta experiencia personalizable puede orientarse en múltiples direcciones, desde analizar el modelo o los datos de forma integral, hasta realizar un análisis profundo o una comparación de cohortes de interés, explicar y modificar las predicciones del modelo para instancias individuales, e informar a los usuarios sobre decisiones y acciones empresariales.
Para lograr estas capacidades, el panel integra ideas y tecnologías de varios kits de herramientas de código abierto en las áreas de
Error Analysis impulsado por Error Analysis, que identifica cohortes de datos con una tasa de error más alta que la referencia general. Estas discrepancias pueden ocurrir cuando el sistema o el modelo tiene un rendimiento inferior para grupos demográficos específicos o condiciones de entrada observadas con poca frecuencia en los datos de entrenamiento.
Evaluación de equidad impulsada por Fairlearn, que identifica qué grupos de personas pueden verse afectados de manera desproporcionadamente negativa por un sistema de IA y de qué maneras.
Interpretabilidad de modelos impulsada por InterpretML, que explica los modelos de caja negra y ayuda a los usuarios a comprender el comportamiento global de su modelo o las razones detrás de predicciones individuales.
