microsoft/responsible-ai-toolboxTableaux de bord interactifs et bibliothèques pour le débogage responsable de modèles d'IA, couvrant l'analyse des erreurs, l'équité, l'interprétabilité, les contrefactuels, l'analyse causale et l'équilibre des données.
L'IA responsable est une approche visant à évaluer, développer et déployer des systèmes d'IA de manière sûre, fiable et éthique, et à prendre des décisions et des actions responsables.
Responsible AI Toolbox est une suite d'outils fournissant une collection d'interfaces utilisateur et de bibliothèques d'exploration et d'évaluation de modèles et de données qui permettent de mieux comprendre les systèmes d'IA. Ces interfaces et bibliothèques permettent aux développeurs et aux parties prenantes des systèmes d'IA de développer et de surveiller l'IA de manière plus responsable et de prendre de meilleures décisions fondées sur les données.
La boîte à outils se compose de trois dépôts :
| Dépôt | Outils couverts |
|---|---|
| Dépôt Responsible-AI-Toolbox (ici) | Ce dépôt contient quatre widgets de visualisation pour l'évaluation de modèles et la prise de décision : 1. Tableau de bord Responsible AI, un guichet unique regroupant plusieurs outils d'IA responsable matures de la boîte à outils pour une évaluation responsable holistique et le débogage de modèles, ainsi que la prise de décisions commerciales éclairées. Avec ce tableau de bord, vous pouvez identifier les erreurs de modèle, diagnostiquer pourquoi ces erreurs se produisent et les atténuer. De plus, les capacités de prise de décision causale fournissent des informations exploitables à vos parties prenantes et à vos clients. 2. Tableau de bord Error Analysis, pour identifier les erreurs de modèle et découvrir des cohortes de données pour lesquelles le modèle est moins performant. 3. Tableau de bord d'interprétabilité, pour comprendre les prédictions du modèle. Ce tableau de bord est propulsé par InterpretML. 4. Tableau de bord d'équité, pour comprendre les problèmes d'équité du modèle à l'aide de diverses métriques d'équité de groupe sur des caractéristiques et cohortes sensibles. Ce tableau de bord est propulsé par Fairlearn. |
| Dépôt Responsible-AI-Toolbox-Mitigations | La bibliothèque Responsible AI Mitigations aide les praticiens de l'IA à explorer différentes mesures et étapes d'atténuation qui peuvent être les plus appropriées lorsque le modèle est moins performant pour une cohorte de données donnée. La bibliothèque dispose actuellement de deux modules : 1. DataProcessing, qui offre des techniques d'atténuation pour améliorer les performances du modèle pour des cohortes spécifiques. 2. DataBalanceAnalysis, qui fournit des métriques pour diagnostiquer les erreurs provenant d'un déséquilibre des données, soit sur les étiquettes de classe, soit sur les valeurs des caractéristiques. 3. Cohort : fournit des classes pour la gestion et l'administration des cohortes, ce qui permet la création de pipelines personnalisés pour chaque cohorte via une interface simple et intuitive. Le module fournit également des techniques pour apprendre différents estimateurs (modèles) découplés pour différentes cohortes et les combiner d'une manière qui optimise différentes définitions de l'équité de groupe. |
| Dépôt Responsible-AI-Tracker | Responsible AI Toolbox Tracker est une extension JupyterLab pour gérer, suivre et comparer les résultats d'expériences d'apprentissage automatique pour l'amélioration de modèles. Avec cette extension, les utilisateurs peuvent consulter les modèles, le code et les artefacts de visualisation dans le même cadre, ce qui permet des processus d'itération et d'évaluation rapides des modèles. Les fonctionnalités principales incluent : 1. La gestion et la liaison des artefacts d'amélioration de modèles 2. L'évaluation et les comparaisons de modèles désagrégées 3. L'intégration avec la bibliothèque Responsible AI Mitigations 4. L'intégration avec mlflow |
| Dépôt Responsible-AI-Toolbox-GenBit | La bibliothèque Responsible AI Gender Bias (GenBit) aide les praticiens de l'IA à mesurer les biais de genre dans les ensembles de données de traitement du langage naturel (NLP). L'objectif principal de GenBit est d'analyser vos corpus textuels et de calculer des métriques qui donnent un aperçu des biais de genre présents dans un corpus. |
Le tableau de bord Responsible AI est un guichet unique qui vous permet de naviguer facilement à travers différentes étapes de débogage de modèles et de prise de décision. Cette expérience personnalisable peut être orientée dans de multiples directions, de l'analyse holistique du modèle ou des données, à l'exploration approfondie ou à la comparaison de cohortes d'intérêt, en passant par l'explication et la perturbation des prédictions du modèle pour des instances individuelles, et l'information des utilisateurs sur les décisions et actions commerciales.
Afin d'atteindre ces capacités, le tableau de bord intègre des idées et des technologies issues de plusieurs boîtes à outils open-source dans les domaines suivants :
