microsoft/responsible-ai-toolboxInteraktive Dashboards und Bibliotheken für verantwortungsvolles Debugging von KI-Modellen, die Fehleranalyse, Fairness, Interpretierbarkeit, Kontrafaktuale, Kausalanalyse und Datenbalance abdecken.
Responsible AI ist ein Ansatz zur sicheren, vertrauenswürdigen und ethischen Bewertung, Entwicklung und Bereitstellung von KI-Systemen sowie zum Treffen verantwortungsvoller Entscheidungen und zum Ergreifen verantwortungsvoller Maßnahmen.
Responsible AI Toolbox ist eine Suite von Tools, die eine Sammlung von Benutzeroberflächen und Bibliotheken zur Modell- und Datenexploration und -bewertung bereitstellt, die ein besseres Verständnis von KI-Systemen ermöglichen. Diese Oberflächen und Bibliotheken befähigen Entwickler und Stakeholder von KI-Systemen, KI verantwortungsvoller zu entwickeln und zu überwachen und bessere datengetriebene Entscheidungen zu treffen.
Die Toolbox besteht aus drei Repositories:
| Repository | Abgedeckte Tools |
|---|---|
| Responsible-AI-Toolbox Repository (Hier) | Dieses Repository enthält vier Visualisierungs-Widgets für die Modellbewertung und Entscheidungsfindung: 1. Responsible AI Dashboard, ein Single-Pane-of-Glass, das mehrere ausgereifte Responsible-AI-Tools aus der Toolbox bündelt, um Modelle ganzheitlich und verantwortungsvoll zu bewerten und zu debuggen und fundierte Geschäftsentscheidungen zu treffen. Mit diesem Dashboard können Sie Modellfehler identifizieren, diagnostizieren, warum diese Fehler auftreten, und sie beheben. Darüber hinaus liefern die Fähigkeiten zur kausalen Entscheidungsfindung umsetzbare Erkenntnisse für Ihre Stakeholder und Kunden. 2. Error Analysis Dashboard, zur Identifizierung von Modellfehlern und zum Auffinden von Datenkohorten, bei denen das Modell schlechter abschneidet. 3. Interpretability Dashboard, zum Verständnis von Modellvorhersagen. Dieses Dashboard basiert auf InterpretML. 4. Fairness Dashboard, zum Verständnis von Fairness-Problemen des Modells mithilfe verschiedener Gruppen-Fairness-Metriken über sensible Merkmale und Kohorten hinweg. Dieses Dashboard basiert auf Fairlearn. |
| Responsible-AI-Toolbox-Mitigations Repository | Die Responsible-AI-Mitigations-Bibliothek hilft KI-Praktikern, verschiedene Messgrößen und Minderungsmaßnahmen zu erkunden, die am besten geeignet sein können, wenn das Modell bei einer bestimmten Datenkohorte schlechter abschneidet. Die Bibliothek verfügt derzeit über zwei Module: 1. DataProcessing, das Minderungstechniken zur Verbesserung der Modellleistung für bestimmte Kohorten bietet. 2. DataBalanceAnalysis, das Metriken zur Diagnose von Fehlern bereitstellt, die aus einem Datenungleichgewicht entweder bei Klassenbezeichnungen oder Merkmalswerten entstehen. 3. Cohort: stellt Klassen zur Handhabung und Verwaltung von Kohorten bereit, was die Erstellung benutzerdefinierter Pipelines für jede Kohorte über eine einfache und intuitive Oberfläche ermöglicht. Das Modul bietet außerdem Techniken zum Lernen verschiedener entkoppelter Schätzer (Modelle) für verschiedene Kohorten und deren Kombination auf eine Weise, die verschiedene Definitionen von Gruppen-Fairness optimiert. |
| Responsible-AI-Tracker Repository | Responsible AI Toolbox Tracker ist eine JupyterLab-Erweiterung zum Verwalten, Nachverfolgen und Vergleichen von Ergebnissen von Machine-Learning-Experimenten zur Modellverbesserung. Mit dieser Erweiterung können Benutzer Modelle, Code und Visualisierungsartefakte innerhalb desselben Frameworks anzeigen und so schnelle Modelliterations- und Bewertungsprozesse ermöglichen. Zu den Hauptfunktionen gehören: 1. Verwalten und Verknüpfen von Artefakten zur Modellverbesserung 2. Disaggregierte Modellbewertung und -vergleiche 3. Integration mit der Responsible-AI-Mitigations-Bibliothek 4. Integration mit mlflow |
| Responsible-AI-Toolbox-GenBit Repository | Die Responsible-AI-Gender-Bias-Bibliothek (GenBit) hilft KI-Praktikern, Gender-Bias in Datensätzen der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) zu messen. Das Hauptziel von GenBit ist es, Ihre Textkorpora zu analysieren und Metriken zu berechnen, die Einblicke in den in einem Korpus vorhandenen Gender-Bias geben. |
Das Responsible AI Dashboard ist ein Single-Pane-of-Glass, das es Ihnen ermöglicht, mühelos durch verschiedene Phasen des Modell-Debuggings und der Entscheidungsfindung zu navigieren. Diese anpassbare Erfahrung kann in viele Richtungen genutzt werden – von der ganzheitlichen Analyse des Modells oder der Daten über eine eingehende Untersuchung oder einen Vergleich interessanter Kohorten bis hin zur Erklärung und Veränderung von Modellvorhersagen für einzelne Instanzen und zur Information von Benutzern über Geschäftsentscheidungen und -maßnahmen.
Um diese Fähigkeiten zu erreichen, integriert das Dashboard Ideen und Technologien aus mehreren Open-Source-Toolkits in den Bereichen
