microsoft/responsible-ai-toolboxDashboard interattive e librerie per il debugging responsabile di modelli di IA, che comprendono analisi degli errori, equità, interpretabilità, controfattuali, analisi causale e bilanciamento dei dati.
L'IA responsabile è un approccio per valutare, sviluppare e distribuire sistemi di IA in modo sicuro, affidabile ed etico, e per prendere decisioni e azioni responsabili.
Responsible AI Toolbox è una suite di strumenti che offre una raccolta di interfacce utente e librerie per l'esplorazione e la valutazione di modelli e dati, consentendo una migliore comprensione dei sistemi di IA. Queste interfacce e librerie consentono a sviluppatori e stakeholder dei sistemi di IA di sviluppare e monitorare l'IA in modo più responsabile e di prendere decisioni migliori basate sui dati.
La Toolbox è composta da tre repository:
| Repository | Strumenti trattati |
|---|---|
| Responsible-AI-Toolbox Repository (Qui) | Questo repository contiene quattro widget di visualizzazione per la valutazione dei modelli e il processo decisionale: 1. Responsible AI dashboard, un unico pannello di controllo che riunisce diversi strumenti maturi di Responsible AI della toolbox per una valutazione responsabile e un debug olistico dei modelli e per prendere decisioni aziendali informate. Con questa dashboard puoi identificare gli errori del modello, diagnosticare perché si verificano e mitigarli. Inoltre, le funzionalità di causal decision-making forniscono insight azionabili ai tuoi stakeholder e clienti. 2. Error Analysis dashboard, per identificare gli errori del modello e scoprire coorti di dati per le quali il modello ha prestazioni inferiori. 3. Interpretability dashboard, per comprendere le previsioni del modello. Questa dashboard è basata su InterpretML. 4. Fairness dashboard, per comprendere i problemi di equità del modello utilizzando varie metriche di equità di gruppo su caratteristiche sensibili e coorti. Questa dashboard è basata su Fairlearn. |
| Responsible-AI-Toolbox-Mitigations Repository | La Responsible AI Mitigations Library aiuta i professionisti dell'IA a esplorare diverse misurazioni e passaggi di mitigazione che possono essere più appropriati quando il modello ha prestazioni inferiori per una determinata coorte di dati. La libreria attualmente ha due moduli: 1. DataProcessing, che offre tecniche di mitigazione per migliorare le prestazioni del modello per coorti specifiche. 2. DataBalanceAnalysis, che fornisce metriche per diagnosticare errori originati da squilibrio dei dati, sia sulle etichette di classe che sui valori delle caratteristiche. 3. Cohort: fornisce classi per gestire le coorti, consentendo la creazione di pipeline personalizzate per ogni coorte in un'interfaccia semplice e intuitiva. Il modulo fornisce anche tecniche per apprendere diversi stimatori disaccoppiati (modelli) per diverse coorti e combinarli in modo da ottimizzare diverse definizioni di equità di gruppo. |
| Responsible-AI-Tracker Repository | Responsible AI Toolbox Tracker è un'estensione di JupyterLab per gestire, tracciare e confrontare i risultati di esperimenti di machine learning per il miglioramento dei modelli. Con questa estensione, gli utenti possono visualizzare modelli, codice e artefatti di visualizzazione all'interno dello stesso framework, consentendo quindi processi rapidi di iterazione e valutazione dei modelli. Le funzionalità principali includono: 1. Gestione e collegamento degli artefatti di miglioramento del modello 2. Valutazione e confronti disaggregati dei modelli 3. Integrazione con la libreria Responsible AI Mitigations 4. Integrazione con mlflow |
| Responsible-AI-Toolbox-GenBit Repository | La Responsible AI Gender Bias (GenBit) Library aiuta i professionisti dell'IA a misurare il bias di genere nei dataset di Natural Language Processing (NLP). L'obiettivo principale di GenBit è analizzare i tuoi corpus testuali e calcolare metriche che forniscano informazioni sul bias di genere presente in un corpus. |
Responsible AI dashboard è un unico pannello di controllo che ti consente di muoverti facilmente tra le diverse fasi di debug del modello e del processo decisionale. Questa esperienza personalizzabile può essere indirizzata in molteplici direzioni: dall'analisi olistica del modello o dei dati, all'approfondimento o confronto di coorti di interesse, alla spiegazione e perturbazione delle previsioni del modello per singole istanze, fino a informare gli utenti su decisioni e azioni aziendali.
Per ottenere queste capacità, la dashboard integra idee e tecnologie di diversi toolkit open source nei seguenti ambiti:
