microsoft/responsible-ai-toolboxTableaux de bord interactifs et bibliothèques pour le débogage responsable de modèles d'IA, couvrant l'analyse des erreurs, l'équité, l'interprétabilité, les contrefactuels, l'analyse causale et l'équilibre des données.
L'IA responsable est une approche visant à évaluer, développer et déployer des systèmes d'IA de manière sûre, fiable et éthique, et à prendre des décisions et des actions responsables.
Responsible AI Toolbox est une suite d'outils fournissant une collection d'interfaces utilisateur et de bibliothèques d'exploration et d'évaluation de modèles et de données qui permettent de mieux comprendre les systèmes d'IA. Ces interfaces et bibliothèques permettent aux développeurs et aux parties prenantes des systèmes d'IA de développer et de surveiller l'IA de manière plus responsable et de prendre de meilleures décisions fondées sur les données.
La boîte à outils se compose de trois dépôts :
Le tableau de bord Responsible AI est un guichet unique qui vous permet de naviguer facilement à travers différentes étapes de débogage de modèles et de prise de décision. Cette expérience personnalisable peut être orientée dans de multiples directions, de l'analyse holistique du modèle ou des données, à l'exploration approfondie ou à la comparaison de cohortes d'intérêt, en passant par l'explication et la perturbation des prédictions du modèle pour des instances individuelles, et l'information des utilisateurs sur les décisions et actions commerciales.
Afin d'atteindre ces capacités, le tableau de bord intègre des idées et des technologies issues de plusieurs boîtes à outils open-source dans les domaines suivants :
Analyse des erreurs propulsée par Error Analysis, qui identifie les cohortes de données présentant un taux d'erreur plus élevé que la référence globale. Ces écarts peuvent survenir lorsque le système ou le modèle est moins performant pour des groupes démographiques spécifiques ou des conditions d'entrée rarement observées dans les données d'entraînement.
Évaluation de l'équité propulsée par Fairlearn, qui identifie quels groupes de personnes peuvent être affectés de manière disproportionnée et négative par un système d'IA, et de quelles manières.
Interprétabilité des modèles propulsée par InterpretML, qui explique les modèles de type boîte noire, aidant les utilisateurs à comprendre le comportement global de leur modèle ou les raisons derrière les prédictions individuelles.
Analyse contrefactuelle propulsée par DiCE, qui montre des versions perturbées au niveau des caractéristiques d'un même point de données qui auraient reçu un résultat de prédiction différent, par exemple, le prêt de Taylor a été rejeté par le modèle. Mais elle aurait obtenu le prêt si son revenu était supérieur de 10 000 $.
Analyse causale propulsée par EconML, qui se concentre sur la réponse aux questions de type « Que se passerait-il si » pour appliquer une prise de décision fondée sur les données – comment les revenus seraient-ils affectés si une entreprise adoptait une nouvelle stratégie de prix ? Un nouveau médicament améliorerait-il l'état d'un patient, toutes choses égales par ailleurs ?
Équilibre des données propulsé par Responsible AI, qui aide les utilisateurs à acquérir une compréhension globale de leurs données, à identifier les caractéristiques recevant le résultat positif plus que d'autres et à visualiser les distributions des caractéristiques.
Le tableau de bord Responsible AI est conçu pour atteindre les objectifs suivants :
Ce dépôt contient les notebooks Jupyter avec des exemples pour montrer comment utiliser ce widget. Commencez ici.
Utilisez la commande pip suivante pour installer Responsible AI Toolbox.
Si vous exécutez dans jupyter, veuillez vous assurer de redémarrer le noyau jupyter après l'installation.
pip install raiwidgets
La force de Responsible AI Toolbox réside dans sa personnalisation. Elle permet aux utilisateurs de concevoir des workflows de débogage de modèles et de prise de décision de bout en bout, adaptés à leurs besoins particuliers. Besoin d'inspiration ? Voici quelques exemples de la manière dont les composants de la boîte à outils peuvent être combinés pour analyser des scénarios de différentes façons :
Veuillez noter que la vue d'ensemble du modèle (y compris l'analyse d'équité) et l'explorateur de données sont activés par défaut !
Exemples tabulaires :
Exemples de texte :
Exemples de vision :
Cette API Responsible AI Toolbox prend en charge les modèles entraînés sur des ensembles de données au format Python numpy.ndarray, pandas.DataFrame, iml.datatypes.DenseData ou scipy.sparse.csr_matrix.
Les fonctions d'explication d'Interpret-Community acceptent à la fois les modèles et les pipelines en entrée, à condition que le modèle ou le pipeline implémente une fonction predict ou predict_proba conforme à la convention Scikit. Si ce n'est pas compatible, vous pouvez encapsuler la fonction de prédiction de votre modèle dans une fonction wrapper qui transforme la sortie au format pris en charge (predict ou predict_proba de Scikit), puis passer cette fonction wrapper à vos techniques d'interprétabilité sélectionnées.
Si un script de pipeline est fourni, la fonction d'explication suppose que le script de pipeline exécuté renvoie une prédiction. Le dépôt prend également en charge les modèles entraînés avec les frameworks d'apprentissage profond PyTorch, TensorFlow et Keras.
Les outils de Responsible AI Toolbox peuvent également être utilisés avec des modèles d'IA proposés sous forme d'API par des fournisseurs tels que Azure Cognitive Services. Pour voir des exemples de cas d'utilisation, consultez les dossiers ci-dessous :
| Dépôt | Outils couverts |
|---|
| Dépôt Responsible-AI-Toolbox (ici) | Ce dépôt contient quatre widgets de visualisation pour l'évaluation de modèles et la prise de décision : 1. Tableau de bord Responsible AI, un guichet unique regroupant plusieurs outils d'IA responsable matures de la boîte à outils pour une évaluation responsable holistique et le débogage de modèles, ainsi que la prise de décisions commerciales éclairées. Avec ce tableau de bord, vous pouvez identifier les erreurs de modèle, diagnostiquer pourquoi ces erreurs se produisent et les atténuer. De plus, les capacités de prise de décision causale fournissent des informations exploitables à vos parties prenantes et à vos clients. 2. Tableau de bord Error Analysis, pour identifier les erreurs de modèle et découvrir des cohortes de données pour lesquelles le modèle est moins performant. 3. Tableau de bord d'interprétabilité, pour comprendre les prédictions du modèle. Ce tableau de bord est propulsé par InterpretML. 4. Tableau de bord d'équité, pour comprendre les problèmes d'équité du modèle à l'aide de diverses métriques d'équité de groupe sur des caractéristiques et cohortes sensibles. Ce tableau de bord est propulsé par Fairlearn. |
| Dépôt Responsible-AI-Toolbox-Mitigations | La bibliothèque Responsible AI Mitigations aide les praticiens de l'IA à explorer différentes mesures et étapes d'atténuation qui peuvent être les plus appropriées lorsque le modèle est moins performant pour une cohorte de données donnée. La bibliothèque dispose actuellement de deux modules : 1. DataProcessing, qui offre des techniques d'atténuation pour améliorer les performances du modèle pour des cohortes spécifiques. 2. DataBalanceAnalysis, qui fournit des métriques pour diagnostiquer les erreurs provenant d'un déséquilibre des données, soit sur les étiquettes de classe, soit sur les valeurs des caractéristiques. 3. Cohort : fournit des classes pour la gestion et l'administration des cohortes, ce qui permet la création de pipelines personnalisés pour chaque cohorte via une interface simple et intuitive. Le module fournit également des techniques pour apprendre différents estimateurs (modèles) découplés pour différentes cohortes et les combiner d'une manière qui optimise différentes définitions de l'équité de groupe. |
| Dépôt Responsible-AI-Tracker | Responsible AI Toolbox Tracker est une extension JupyterLab pour gérer, suivre et comparer les résultats d'expériences d'apprentissage automatique pour l'amélioration de modèles. Avec cette extension, les utilisateurs peuvent consulter les modèles, le code et les artefacts de visualisation dans le même cadre, ce qui permet des processus d'itération et d'évaluation rapides des modèles. Les fonctionnalités principales incluent : 1. La gestion et la liaison des artefacts d'amélioration de modèles 2. L'évaluation et les comparaisons de modèles désagrégées 3. L'intégration avec la bibliothèque Responsible AI Mitigations 4. L'intégration avec mlflow |
| Dépôt Responsible-AI-Toolbox-GenBit | La bibliothèque Responsible AI Gender Bias (GenBit) aide les praticiens de l'IA à mesurer les biais de genre dans les ensembles de données de traitement du langage naturel (NLP). L'objectif principal de GenBit est d'analyser vos corpus textuels et de calculer des métriques qui donnent un aperçu des biais de genre présents dans un corpus. |
| Flux du tableau de bord Responsible AI | Cas d'utilisation |
|---|
| Vue d'ensemble du modèle -> Analyse des erreurs -> Explorateur de données | Pour identifier les erreurs de modèle et les diagnostiquer en comprenant la distribution sous-jacente des données |
| Vue d'ensemble du modèle -> Évaluation de l'équité -> Explorateur de données | Pour identifier les problèmes d'équité du modèle et les diagnostiquer en comprenant la distribution sous-jacente des données |
| Vue d'ensemble du modèle -> Analyse des erreurs -> Analyse contrefactuelle et What-If | Pour diagnostiquer les erreurs dans des instances individuelles avec une analyse contrefactuelle (changement minimal pour conduire à une prédiction différente du modèle) |
| Vue d'ensemble du modèle -> Explorateur de données -> Équilibre des données | Pour comprendre la cause profonde des erreurs et des problèmes d'équité introduits par des déséquilibres de données ou un manque de représentation d'une cohorte de données particulière |
| Vue d'ensemble du modèle -> Interprétabilité | Pour diagnostiquer les erreurs de modèle en comprenant comment le modèle a effectué ses prédictions |
| Explorateur de données -> Inférence causale | Pour distinguer les corrélations des causalités dans les données ou décider des meilleurs traitements à appliquer pour obtenir un résultat positif |
| Interprétabilité -> Inférence causale | Pour apprendre si les facteurs utilisés par le modèle pour la prise de décision ont un effet causal sur le résultat dans le monde réel. |
| Explorateur de données -> Analyse contrefactuelle et What-If | Pour répondre aux questions des clients sur ce qu'ils peuvent faire la prochaine fois pour obtenir un résultat différent d'une IA. |
| Explorateur de données -> Équilibre des données | Pour acquérir une compréhension globale des données, identifier les caractéristiques recevant le résultat positif plus que d'autres et visualiser les distributions des caractéristiques |