AI Fairness 360 (AIF360)

Il toolkit AI Fairness 360 è una libreria open-source estensibile che contiene tecniche sviluppate dalla comunità di ricerca per aiutare a rilevare e mitigare i bias nei modelli di machine learning nell'intero ciclo di vita delle applicazioni di IA. Il pacchetto AI Fairness 360 è disponibile sia in Python che in R.

Il pacchetto AI Fairness 360 include

1. un set completo di metriche per dataset e modelli per testare i bias,
2. spiegazioni per queste metriche, e
3. algoritmi per mitigare i bias nei dataset e nei modelli. È progettato per tradurre la ricerca algoritmica dal laboratorio alla pratica effettiva in domini tanto variegati quanto la finanza, la gestione del capitale umano, la sanità e l'istruzione. Ti invitiamo a usarlo e a migliorarlo.

L'esperienza interattiva di AI Fairness 360 fornisce una introduzione graduale ai concetti e alle funzionalità. I tutorial e gli altri notebook offrono un'introduzione più approfondita, orientata ai data scientist. È disponibile anche l'API completa.

Essendo un set completo di funzionalità, può creare confusione capire quali metriche e algoritmi siano più appropriati per un dato caso d'uso. Per aiutarti, abbiamo creato del materiale di guida che può essere consultato.

Abbiamo sviluppato il pacchetto pensando all'estensibilità. Questa libreria è ancora in fase di sviluppo. Incoraggiamo il contributo delle tue metriche, dei tuoi explainer e dei tuoi algoritmi di debiasing.

Contattaci su Slack (invito qui)!

Algoritmi di mitigazione dei bias supportati

• Preprocessing ottimizzato (Calmon et al., 2017)
• Disparate Impact Remover (Feldman et al., 2015)
• Equalized Odds Postprocessing (Hardt et al., 2016)
• Reweighing (Kamiran and Calders, 2012)
• Reject Option Classification (Kamiran et al., 2012)
• Prejudice Remover Regularizer (Kamishima et al., 2012)
• Calibrated Equalized Odds Postprocessing (Pleiss et al., 2017)
• Learning Fair Representations (Zemel et al., 2013)
• Adversarial Debiasing (Zhang et al., 2018)
• Meta-Algorithm for Fair Classification (Celis et al., 2018)
• Rich Subgroup Fairness (Kearns, Neel, Roth, Wu, 2018)
• Exponentiated Gradient Reduction (Agarwal et al., 2018)
• Grid Search Reduction (Agarwal et al., 2018, Agarwal et al., 2019)
• Fair Data Adaptation (Plečko and Meinshausen, 2020, Plečko et al., 2021)
• Sensitive Set Invariance/Sensitive Subspace Robustness (Yurochkin and Sun, 2020, Yurochkin et al., 2019)

Metriche di fairness supportate

• Set completo di metriche di fairness di gruppo derivate da tassi di selezione e tassi di errore, inclusa la rich subgroup fairness
• Set completo di metriche di distorsione del campione
• Generalized Entropy Index (Speicher et al., 2018)
• Differential Fairness e Bias Amplification (Foulds et al., 2018)
• Bias Scan con Multi-Dimensional Subset Scan (Zhang, Neill, 2017)

Setup

R

install.packages("aif360")

Per maggiori dettagli sulla configurazione di R, fai riferimento alle istruzioni qui.

Python

Configurazioni Python supportate:

(Facoltativo) Creare un ambiente virtuale

AIF360 richiede versioni specifiche di molti pacchetti Python che potrebbero essere in conflitto con altri progetti sul tuo sistema. Un gestore di ambienti virtuali è fortemente consigliato per garantire che le dipendenze possano essere installate in modo sicuro. Se hai problemi nell'installare AIF360, prova prima questo.

Conda

Conda è consigliato per tutte le configurazioni, sebbene Virtualenv sia generalmente intercambiabile per i nostri scopi. Miniconda è sufficiente (vedi la differenza tra Anaconda e Miniconda se sei curioso) se non hai già conda installato.

Quindi, per creare un nuovo ambiente Python 3.11, esegui:

conda create --name aif360 python=3.11
conda activate aif360

La shell ora dovrebbe apparire come (aif360) $. Per disattivare l'ambiente, esegui:

(aif360)$ conda deactivate

Il prompt tornerà a $ .

Installazione con pip

Per installare l'ultima versione stabile da PyPI, esegui:

pip install aif360

Nota: alcuni algoritmi richiedono dipendenze aggiuntive (sebbene le metriche funzionino tutte subito senza configurazione). Per installare con alcune dipendenze degli algoritmi incluse, esegui, ad es.:

pip install 'aif360[LFR,OptimPreproc]'

oppure, per una funzionalità completa, esegui:

pip install 'aif360[all]'

Le opzioni per gli extra disponibili sono: OptimPreproc, LFR, AdversarialDebiasing, DisparateImpactRemover, LIME, ART, Reductions, FairAdapt, inFairness, LawSchoolGPA, notebooks, tests, docs, all

Se incontri errori, prova i passaggi di Risoluzione dei problemi.

Installazione manuale

Clona l'ultima versione di questo repository:

git clone https://github.com/Trusted-AI/AIF360

Se desideri eseguire gli esempi, scarica ora i dataset e posizionali nelle rispettive cartelle come descritto in aif360/data/README.md.

Quindi, vai alla directory principale del progetto ed esegui:

pip install --editable '.[all]'

Eseguire gli Esempi

Per eseguire i notebook di esempio, completa i passaggi di installazione manuale sopra. Quindi, se non hai usato l'opzione [all], installa i requisiti aggiuntivi come segue:

pip install -e '.[notebooks]'

Infine, se non l'hai già fatto, scarica i dataset come descritto in aif360/data/README.md.

Risoluzione dei problemi

Se incontri errori durante il processo di installazione, cerca il tuo problema qui e prova le soluzioni.

TensorFlow

Consulta la pagina Installa TensorFlow con pip per istruzioni dettagliate.

Nota: richiediamo 'tensorflow >= 1.13.1'.

Una volta installato tensorflow, prova a rieseguire:

pip install 'aif360[AdversarialDebiasing]'

TensorFlow è richiesto solo per l'uso con la classe aif360.algorithms.inprocessing.AdversarialDebiasing.

CVXPY

Su MacOS, potresti dover prima installare gli Xcode Command Line Tools se non l'hai mai fatto in precedenza:

xcode-select --install

Su Windows, potresti dover scaricare i Microsoft C++ Build Tools per Visual Studio 2019. Vedi la pagina Installazione CVXPY per istruzioni aggiornate.

Quindi, prova a reinstallare tramite:

pip install 'aif360[OptimPreproc]'

CVXPY è richiesto solo per l'uso con la classe aif360.algorithms.preprocessing.OptimPreproc.

Usare AIF360

La directory examples contiene una collezione eterogenea di jupyter notebook che usano AI Fairness 360 in vari modi. Sia i tutorial che le demo illustrano codice funzionante che usa AIF360. I tutorial forniscono ulteriori discussioni che guidano l'utente attraverso i vari passaggi del notebook. Vedi i dettagli su tutorial e demo qui

Citare AIF360

Una descrizione tecnica di AI Fairness 360 è disponibile in questo paper. Di seguito è riportata la voce bibtex per questo paper.

@misc{aif360-oct-2018,
    title = "{AI Fairness} 360:  An Extensible Toolkit for Detecting, Understanding, and Mitigating Unwanted Algorithmic Bias",
    author = {Rachel K. E. Bellamy and Kuntal Dey and Michael Hind and
	Samuel C. Hoffman and Stephanie Houde and Kalapriya Kannan and
	Pranay Lohia and Jacquelyn Martino and Sameep Mehta and
	Aleksandra Mojsilovic and Seema Nagar and Karthikeyan Natesan Ramamurthy and
	John Richards and Diptikalyan Saha and Prasanna Sattigeri and
	Moninder Singh and Kush R. Varshney and Yunfeng Zhang},
    month = oct,
    year = {2018},
    url = {https://arxiv.org/abs/1810.01943}
}

Video su AIF360

• Video introduttivo su AI Fairness 360 di Kush Varshney, 20 settembre 2018 (32 min)

Contribuire

Il fork di sviluppo per Rich Subgroup Fairness (inprocessing/gerryfair_classifier.py) è qui. I contributi sono benvenuti e un elenco di potenziali contributi degli autori può essere trovato qui.