AI Fairness 360 (AIF360)

AI Fairness 360 툴킷은 연구 커뮤니티에서 개발한 기술을 포함하는 확장 가능한 오픈소스 라이브러리로, AI 애플리케이션 수명주기 전반에 걸쳐 머신러닝 모델의 편향을 감지하고 완화하는 데 도움을 줍니다. AI Fairness 360 패키지는 Python과 R 모두에서 사용할 수 있습니다.

AI Fairness 360 패키지는 다음을 포함합니다.

데이터셋과 모델의 편향을 테스트하기 위한 포괄적인 지표 세트,
이러한 지표에 대한 설명, 그리고
데이터셋과 모델의 편향을 완화하는 알고리즘. 이 패키지는 알고리즘 연구를 실험실에서 금융, 인적 자본 관리, 의료, 교육 등 다양한 영역의 실제 현장으로 옮기기 위해 설계되었습니다. 여러분의 사용과 개선을 환영합니다.

AI Fairness 360 인터랙티브 경험은 개념과 기능에 대한 쉬운 소개를 제공합니다. 튜토리얼 및 기타 노트북은 데이터 과학자 지향의 보다 심층적인 소개를 제공합니다. 전체 API도 이용할 수 있습니다.

포괄적인 기능 세트이기 때문에 주어진 사용 사례에 가장 적합한 지표와 알고리즘을 파악하기 어려울 수 있습니다. 도움을 드리기 위해 참고할 수 있는 가이던스 자료를 만들었습니다.

저희는 확장성을 염두에 두고 패키지를 개발했습니다. 이 라이브러리는 아직 개발 중입니다. 여러분의 지표, 설명 도구, 디바이어싱 알고리즘 기여를 환영합니다.

Slack에서 저희와 연락하세요 (초대는 여기)!

지원되는 편향 완화 알고리즘

Optimized Preprocessing (Calmon et al., 2017)
Disparate Impact Remover (Feldman et al., 2015)
Equalized Odds Postprocessing (Hardt et al., 2016)
Reweighing (Kamiran and Calders, 2012)
Reject Option Classification (Kamiran et al., 2012)
Prejudice Remover Regularizer (Kamishima et al., 2012)
Calibrated Equalized Odds Postprocessing (Pleiss et al., 2017)
Learning Fair Representations (Zemel et al., 2013)
Adversarial Debiasing (Zhang et al., 2018)
Meta-Algorithm for Fair Classification (Celis et al., 2018)
Rich Subgroup Fairness (Kearns, Neel, Roth, Wu, 2018)
Exponentiated Gradient Reduction (Agarwal et al., 2018)
Grid Search Reduction (Agarwal et al., 2018, Agarwal et al., 2019)
Fair Data Adaptation (Plečko and Meinshausen, 2020, Plečko et al., 2021)
Sensitive Set Invariance/Sensitive Subspace Robustness (Yurochkin and Sun, 2020, Yurochkin et al., 2019)

지원되는 공정성 지표

선택률과 오류율에서 파생된 포괄적인 그룹 공정성 지표 세트 (풍부한 하위 그룹 공정성 포함)
포괄적인 표본 왜곡 지표 세트
Generalized Entropy Index (Speicher et al., 2018)
Differential Fairness and Bias Amplification (Foulds et al., 2018)
Bias Scan with Multi-Dimensional Subset Scan (Zhang, Neill, 2017)

설치

R

install.packages("aif360")

R 설치에 대한 자세한 내용은 여기의 지침을 참조하십시오.

Python

지원되는 Python 구성:

OS	Python 버전
macOS	3.10 – 3.13
Ubuntu	3.10 – 3.13
Windows	3.10 – 3.13

(선택 사항) 가상 환경 생성

AIF360은 많은 Python 패키지의 특정 버전을 요구하므로 시스템의 다른 프로젝트와 충돌할 수 있습니다. 종속성을 안전하게 설치하려면 가상 환경 관리자를 사용하는 것이 좋습니다. AIF360 설치에 문제가 있으면 먼저 이 방법을 시도해 보십시오.

Conda

모든 구성에 Conda를 권장하지만, 우리의 목적에는 Virtualenv도 일반적으로 대체 가능합니다. conda가 아직 설치되어 있지 않다면 Miniconda로 충분합니다 (Anaconda와 Miniconda의 차이가 궁금하다면 참조).

그런 다음, 새로운 Python 3.11 환경을 만들려면 다음을 실행하십시오:

conda create --name aif360 python=3.11
conda activate aif360

셸 프롬프트는 이제 (aif360) $처럼 보일 것입니다. 환경을 비활성화하려면 다음을 실행하십시오:

(aif360)$ conda deactivate

프롬프트는 $ 로 돌아갑니다.

`pip`으로 설치

PyPI에서 최신 안정 버전을 설치하려면 다음을 실행하십시오:

pip install aif360

참고: 일부 알고리즘은 추가 종속성이 필요합니다 (지표는 모두 기본적으로 작동하지만). 특정 알고리즘 종속성을 포함하여 설치하려면, 예를 들어 다음을 실행하십시오:

pip install 'aif360[LFR,OptimPreproc]'

또는 전체 기능을 사용하려면 다음을 실행하십시오:

pip install 'aif360[all]'

사용 가능한 추가 옵션은 다음과 같습니다: OptimPreproc, LFR, AdversarialDebiasing, DisparateImpactRemover, LIME, ART, Reductions, FairAdapt, inFairness, LawSchoolGPA, notebooks, tests, docs, all

오류가 발생하면 문제 해결 단계를 시도해 보십시오.

수동 설치

이 저장소의 최신 버전을 클론하십시오:

git clone https://github.com/Trusted-AI/AIF360

예제를 실행하려면 지금 데이터셋을 다운로드하여 aif360/data/README.md에 설명된 대로 각각의 폴더에 배치하십시오.

그런 다음 프로젝트의 루트 디렉터리로 이동하여 다음을 실행하십시오:

pip install --editable '.[all]'

예제 실행

예제 노트북을 실행하려면 위의 수동 설치 단계를 완료하십시오. 그런 다음 [all] 옵션을 사용하지 않은 경우 다음과 같이 추가 요구 사항을 설치하십시오:

pip install -e '.[notebooks]'

마지막으로, 아직 다운로드하지 않았다면 aif360/data/README.md에 설명된 대로 데이터셋을 다운로드하십시오.

문제 해결

설치 과정에서 오류가 발생하면 여기에서 해당 문제를 찾아 해결 방법을 시도해 보십시오.

TensorFlow

자세한 지침은 Install TensorFlow with pip 페이지를 참조하십시오.

참고: 'tensorflow >= 1.13.1'이 필요합니다.

tensorflow가 설치되면 다시 실행해 보십시오:

pip install 'aif360[AdversarialDebiasing]'

TensorFlow는 aif360.algorithms.inprocessing.AdversarialDebiasing 클래스와 함께 사용할 때만 필요합니다.

CVXPY

MacOS에서는 이전에 설치한 적이 없다면 먼저 Xcode Command Line Tools를 설치해야 할 수 있습니다:

xcode-select --install

Windows에서는 Microsoft C++ Build Tools for Visual Studio 2019를 다운로드해야 할 수 있습니다. 최신 지침은 CVXPY Install 페이지를 참조하십시오.

그런 다음 다음을 통해 재설치를 시도하십시오:

pip install 'aif360[OptimPreproc]'

CVXPY는 aif360.algorithms.preprocessing.OptimPreproc 클래스와 함께 사용할 때만 필요합니다.

AIF360 사용

examples 디렉터리에는 AI Fairness 360을 다양한 방식으로 사용하는 다양한 주피터 노트북 모음이 포함되어 있습니다. 튜토리얼과 데모 모두 AIF360을 사용하는 작동 코드를 보여줍니다. 튜토리얼은 노트북의 다양한 단계를 안내하는 추가 설명을 제공합니다. 튜토리얼 및 데모에 대한 자세한 내용은 여기를 참조하십시오.

AIF360 인용

AI Fairness 360에 대한 기술적 설명은 이 논문에서 확인할 수 있습니다. 아래는 이 논문의 bibtex 항목입니다.

@misc{aif360-oct-2018,
    title = "{AI Fairness} 360:  An Extensible Toolkit for Detecting, Understanding, and Mitigating Unwanted Algorithmic Bias",
    author = {Rachel K. E. Bellamy and Kuntal Dey and Michael Hind and
	Samuel C. Hoffman and Stephanie Houde and Kalapriya Kannan and
	Pranay Lohia and Jacquelyn Martino and Sameep Mehta and
	Aleksandra Mojsilovic and Seema Nagar and Karthikeyan Natesan Ramamurthy and
	John Richards and Diptikalyan Saha and Prasanna Sattigeri and
	Moninder Singh and Kush R. Varshney and Yunfeng Zhang},
    month = oct,
    year = {2018},
    url = {https://arxiv.org/abs/1810.01943}
}

AIF360 비디오

Kush Varshney의 AI Fairness 360 소개 비디오, 2018년 9월 20일 (32분)

기여

Rich Subgroup Fairness(inprocessing/gerryfair_classifier.py)의 개발 포크는 여기에 있습니다. 기여를 환영하며, 작성자가 제안한 잠재적 기여 목록은 여기에서 확인할 수 있습니다.

AIF360

인기