Responsible AI Widgets Python Build UI deployment to test environment

PyPI raiwidgets PyPI responsibleai PyPI erroranalysis PyPI raiutils PyPI rai_test_utils

npm model-assessment

Responsible AI Toolbox

L'IA responsabile è un approccio per valutare, sviluppare e distribuire sistemi di IA in modo sicuro, affidabile ed etico, e per prendere decisioni e azioni responsabili.

Responsible AI Toolbox è una suite di strumenti che offre una raccolta di interfacce utente e librerie per l'esplorazione e la valutazione di modelli e dati, consentendo una migliore comprensione dei sistemi di IA. Queste interfacce e librerie consentono a sviluppatori e stakeholder dei sistemi di IA di sviluppare e monitorare l'IA in modo più responsabile e di prendere decisioni migliori basate sui dati.

ResponsibleAIToolboxOverview

La Toolbox è composta da tre repository:

Introduzione a Responsible AI dashboard

Responsible AI dashboard è un unico pannello di controllo che ti consente di muoverti facilmente tra le diverse fasi di debug del modello e del processo decisionale. Questa esperienza personalizzabile può essere indirizzata in molteplici direzioni: dall'analisi olistica del modello o dei dati, all'approfondimento o confronto di coorti di interesse, alla spiegazione e perturbazione delle previsioni del modello per singole istanze, fino a informare gli utenti su decisioni e azioni aziendali.

ResponsibleAIDashboard

Per ottenere queste capacità, la dashboard integra idee e tecnologie di diversi toolkit open source nei seguenti ambiti:

Error Analysis basato su Error Analysis, che identifica coorti di dati con un tasso di errore più elevato rispetto al benchmark complessivo. Queste discrepanze possono verificarsi quando il sistema o il modello ha prestazioni inferiori per specifici gruppi demografici o condizioni di input osservate raramente nei dati di addestramento.
Fairness Assessment basato su Fairlearn, che identifica quali gruppi di persone possono essere colpiti in modo sproporzionatamente negativo da un sistema di IA e in che modi.
Model Interpretability basato su InterpretML, che spiega i modelli blackbox, aiutando gli utenti a comprendere il comportamento globale del modello o le ragioni alla base delle singole previsioni.
Counterfactual Analysis basato su DiCE, che mostra versioni con caratteristiche perturbate dello stesso dato che avrebbero ricevuto un esito di previsione diverso, ad esempio il prestito di Taylor è stato rifiutato dal modello, ma lo avrebbe ricevuto se il suo reddito fosse stato superiore di 10.000 $.
Causal Analysis basato su EconML, che si concentra sul rispondere a domande del tipo "What if" per applicare un processo decisionale basato sui dati: come cambierebbero i ricavi se un'azienda adottasse una nuova strategia di prezzo? Un nuovo farmaco migliorerebbe le condizioni di un paziente, a parità di tutto il resto?
Data Balance basato su Responsible AI, che aiuta gli utenti ad acquisire una comprensione complessiva dei propri dati, a identificare le caratteristiche che ricevono l'esito positivo più di altre e a visualizzare le distribuzioni delle caratteristiche.

Responsible AI dashboard è progettata per raggiungere i seguenti obiettivi:

Per contribuire ad accelerare ulteriormente i processi di ingegneria nel machine learning, consentendo ai professionisti di progettare flussi di lavoro personalizzabili e dashboard di Responsible AI su misura per i loro scenari di valutazione dei modelli e processo decisionale basato sui dati.
Per aiutare gli sviluppatori di modelli a creare esperienze di debug end-to-end e fluide e a navigare senza problemi tra identificazione e diagnosi degli errori, utilizzando visualizzazioni interattive che identificano gli errori, ispezionano i dati, generano spiegazioni globali e locali dei modelli e potenzialmente ispezionano esempi problematici.
Per aiutare gli stakeholder aziendali a esplorare le relazioni causali nei dati e a prendere decisioni informate nel mondo reale.

Questo repository contiene i notebook Jupyter con esempi per mostrare come utilizzare questo widget. Inizia qui.

Installazione

Usa il seguente comando pip per installare Responsible AI Toolbox.

Se stai eseguendo Jupyter, assicurati di riavviare il kernel di Jupyter dopo l'installazione.

pip install raiwidgets

Personalizzazione di Responsible AI dashboard

Il punto di forza di Responsible AI Toolbox risiede nella sua personalizzabilità. Consente agli utenti di progettare flussi di lavoro di debug e processo decisionale su misura, end-to-end, che rispondono alle loro esigenze specifiche. Ti servono idee? Ecco alcuni esempi di come i componenti della Toolbox possono essere combinati per analizzare scenari in modi diversi:

Nota: i componenti model overview (inclusa l'analisi dell'equità) e data explorer sono attivati per impostazione predefinita!

Collegamenti utili

Esempi su dati tabellari:

Esempi su testo:

Esempi su visione artificiale:

Modelli supportati

Questa API di Responsible AI Toolbox supporta modelli addestrati su dataset in formato Python numpy.ndarray, pandas.DataFrame, iml.datatypes.DenseData o scipy.sparse.csr_matrix.

Le funzioni di spiegazione di Interpret-Community accettano come input sia modelli che pipeline, purché il modello o la pipeline implementi una funzione predict o predict_proba conforme alla convenzione Scikit. Se non è compatibile, puoi racchiudere la funzione di previsione del tuo modello in una funzione wrapper che trasforma l'output nel formato supportato (predict o predict_proba di Scikit) e passare questa funzione wrapper alle tecniche di interpretabilità selezionate.

Se viene fornito uno script di pipeline, la funzione di spiegazione presuppone che lo script di pipeline in esecuzione restituisca una previsione. Il repository supporta anche modelli addestrati con i framework di deep learning PyTorch, TensorFlow e Keras.

Altri casi d'uso

Gli strumenti della Responsible AI Toolbox possono essere utilizzati anche con modelli di IA offerti come API da provider come Azure Cognitive Services. Per vedere esempi di casi d'uso, consulta le cartelle seguenti:

Responsible-AI-Toolbox Repository (Qui)	Questo repository contiene quattro widget di visualizzazione per la valutazione dei modelli e il processo decisionale: 1. Responsible AI dashboard, un unico pannello di controllo che riunisce diversi strumenti maturi di Responsible AI della toolbox per una valutazione responsabile e un debug olistico dei modelli e per prendere decisioni aziendali informate. Con questa dashboard puoi identificare gli errori del modello, diagnosticare perché si verificano e mitigarli. Inoltre, le funzionalità di causal decision-making forniscono insight azionabili ai tuoi stakeholder e clienti. 2. Error Analysis dashboard, per identificare gli errori del modello e scoprire coorti di dati per le quali il modello ha prestazioni inferiori. 3. Interpretability dashboard, per comprendere le previsioni del modello. Questa dashboard è basata su InterpretML. 4. Fairness dashboard, per comprendere i problemi di equità del modello utilizzando varie metriche di equità di gruppo su caratteristiche sensibili e coorti. Questa dashboard è basata su Fairlearn.
Responsible-AI-Toolbox-Mitigations Repository	La Responsible AI Mitigations Library aiuta i professionisti dell'IA a esplorare diverse misurazioni e passaggi di mitigazione che possono essere più appropriati quando il modello ha prestazioni inferiori per una determinata coorte di dati. La libreria attualmente ha due moduli: 1. DataProcessing, che offre tecniche di mitigazione per migliorare le prestazioni del modello per coorti specifiche. 2. DataBalanceAnalysis, che fornisce metriche per diagnosticare errori originati da squilibrio dei dati, sia sulle etichette di classe che sui valori delle caratteristiche. 3. Cohort: fornisce classi per gestire le coorti, consentendo la creazione di pipeline personalizzate per ogni coorte in un'interfaccia semplice e intuitiva. Il modulo fornisce anche tecniche per apprendere diversi stimatori disaccoppiati (modelli) per diverse coorti e combinarli in modo da ottimizzare diverse definizioni di equità di gruppo.
Responsible-AI-Tracker Repository	Responsible AI Toolbox Tracker è un'estensione di JupyterLab per gestire, tracciare e confrontare i risultati di esperimenti di machine learning per il miglioramento dei modelli. Con questa estensione, gli utenti possono visualizzare modelli, codice e artefatti di visualizzazione all'interno dello stesso framework, consentendo quindi processi rapidi di iterazione e valutazione dei modelli. Le funzionalità principali includono: 1. Gestione e collegamento degli artefatti di miglioramento del modello 2. Valutazione e confronti disaggregati dei modelli 3. Integrazione con la libreria Responsible AI Mitigations 4. Integrazione con mlflow
Responsible-AI-Toolbox-GenBit Repository	La Responsible AI Gender Bias (GenBit) Library aiuta i professionisti dell'IA a misurare il bias di genere nei dataset di Natural Language Processing (NLP). L'obiettivo principale di GenBit è analizzare i tuoi corpus testuali e calcolare metriche che forniscano informazioni sul bias di genere presente in un corpus.

Model Overview -> Error Analysis -> Data Explorer	Per identificare gli errori del modello e diagnosticarli comprendendo la distribuzione dei dati sottostante
Model Overview -> Fairness Assessment -> Data Explorer	Per identificare i problemi di equità del modello e diagnosticarli comprendendo la distribuzione dei dati sottostante
Model Overview -> Error Analysis -> Counterfactuals Analysis and What-If	Per diagnosticare gli errori in singole istanze con l'analisi controfattuale (cambiamento minimo per ottenere una previsione diversa del modello)
Model Overview -> Data Explorer -> Data Balance	Per comprendere la causa principale degli errori e dei problemi di equità introdotti da squilibri nei dati o dalla mancanza di rappresentanza di una particolare coorte di dati
Model Overview -> Interpretability	Per diagnosticare gli errori del modello comprendendo come il modello ha effettuato le sue previsioni
Data Explorer -> Causal Inference	Per distinguere tra correlazioni e causalità nei dati o decidere i trattamenti migliori da applicare per ottenere un esito positivo
Interpretability -> Causal Inference	Per capire se i fattori che il modello ha utilizzato per il processo decisionale hanno un effetto causale sull'esito nel mondo reale.
Data Explorer -> Counterfactuals Analysis and What-If	Per rispondere alle domande dei clienti su cosa possono fare la prossima volta per ottenere un esito diverso da un'IA.
Data Explorer -> Data Balance	Per acquisire una comprensione complessiva dei dati, identificare le caratteristiche che ricevono l'esito positivo più di altre e visualizzare le distribuzioni delle caratteristiche

responsible-ai-toolbox

Più Popolari