AI Fairness 360 (AIF360)

Инструментарий AI Fairness 360 — это расширяемая библиотека с открытым исходным кодом, содержащая методики, разработанные исследовательским сообществом для обнаружения и смягчения предвзятости в моделях машинного обучения на протяжении всего жизненного цикла приложений ИИ. Пакет AI Fairness 360 доступен на Python и R.

Пакет AI Fairness 360 включает:

1. комплексный набор метрик для наборов данных и моделей для проверки на предвзятость,
2. пояснения к этим метрикам и
3. алгоритмы для смягчения предвзятости в наборах данных и моделях. Он предназначен для переноса алгоритмических исследований из лаборатории в реальную практику в таких разнообразных областях, как финансы, управление человеческим капиталом, здравоохранение и образование. Мы приглашаем вас использовать и улучшать его.

Интерактивный опыт AI Fairness 360 даёт мягкое введение в концепции и возможности. Учебные пособия и другие блокноты предлагают более глубокое введение, ориентированное на специалистов по данным. Также доступен полный API.

Поскольку это комплексный набор возможностей, может быть непросто понять, какие метрики и алгоритмы наиболее подходят для конкретного случая использования. Чтобы помочь вам, мы создали рекомендательные материалы, к которым можно обратиться.

Мы разработали пакет с расчётом на расширяемость. Эта библиотека всё ещё находится в разработке. Мы приветствуем вклад в виде ваших метрик, методов объяснения и алгоритмов устранения предвзятости.

Свяжитесь с нами в Slack (приглашение здесь)!

Поддерживаемые алгоритмы устранения предвзятости

• Optimized Preprocessing (Calmon et al., 2017)
• Disparate Impact Remover (Feldman et al., 2015)
• Equalized Odds Postprocessing (Hardt et al., 2016)
• Reweighing (Kamiran and Calders, 2012)
• Reject Option Classification (Kamiran et al., 2012)
• Prejudice Remover Regularizer (Kamishima et al., 2012)
• Calibrated Equalized Odds Postprocessing (Pleiss et al., 2017)
• Learning Fair Representations (Zemel et al., 2013)
• Adversarial Debiasing (Zhang et al., 2018)
• Meta-Algorithm for Fair Classification (Celis et al., 2018)
• Rich Subgroup Fairness (Kearns, Neel, Roth, Wu, 2018)
• Exponentiated Gradient Reduction (Agarwal et al., 2018)
• Grid Search Reduction (Agarwal et al., 2018, Agarwal et al., 2019)
• Fair Data Adaptation (Plečko and Meinshausen, 2020, Plečko et al., 2021)
• Sensitive Set Invariance/Sensitive Subspace Robustness (Yurochkin and Sun, 2020, Yurochkin et al., 2019)

Поддерживаемые метрики справедливости

• Комплексный набор групповых метрик справедливости, основанных на коэффициентах отбора и ошибок, включая справедливость для богатых подгрупп
• Комплексный набор метрик искажения выборки
• Generalized Entropy Index (Speicher et al., 2018)
• Differential Fairness and Bias Amplification (Foulds et al., 2018)
• Bias Scan with Multi-Dimensional Subset Scan (Zhang, Neill, 2017)

Установка

R

install.packages("aif360")

Более подробные сведения об установке R см. в инструкциях здесь.

Python

Поддерживаемые конфигурации Python:

(Необязательно) Создание виртуального окружения

AIF360 требует определённых версий многих пакетов Python, которые могут конфликтовать с другими проектами в вашей системе. Настоятельно рекомендуется использовать менеджер виртуальных окружений, чтобы гарантировать безопасную установку зависимостей. Если у вас возникли проблемы с установкой AIF360, попробуйте сначала это.

Conda

Conda рекомендуется для всех конфигураций, хотя Virtualenv в целом взаимозаменяем для наших целей. Miniconda достаточно (см. различие между Anaconda и Miniconda, если вам интересно), если у вас ещё не установлен conda.

Затем, чтобы создать новое окружение Python 3.11, выполните:

conda create --name aif360 python=3.11
conda activate aif360

Приглашение оболочки теперь должно выглядеть как (aif360) $. Чтобы деактивировать окружение, выполните:

(aif360)$ conda deactivate

Приглашение вернётся к $ .

Установка с помощью pip

Чтобы установить последнюю стабильную версию из PyPI, выполните:

pip install aif360

Примечание: некоторые алгоритмы требуют дополнительных зависимостей (хотя все метрики будут работать "из коробки"). Чтобы установить пакет с определёнными зависимостями алгоритмов, выполните, например:

pip install 'aif360[LFR,OptimPreproc]'

или для полной функциональности выполните:

pip install 'aif360[all]'

Доступные дополнительные опции: OptimPreproc, LFR, AdversarialDebiasing, DisparateImpactRemover, LIME, ART, Reductions, FairAdapt, inFairness, LawSchoolGPA, notebooks, tests, docs, all

Если вы столкнулись с ошибками, попробуйте выполнить действия из раздела Устранение неполадок.

Установка вручную

Клонируйте последнюю версию этого репозитория:

git clone https://github.com/Trusted-AI/AIF360

Если вы хотите запустить примеры, загрузите наборы данных сейчас и поместите их в соответствующие папки, как описано в aif360/data/README.md.

Затем перейдите в корневой каталог проекта и выполните:

pip install --editable '.[all]'

Запуск примеров

Чтобы запустить примеры блокнотов, выполните описанные выше шаги ручной установки. Затем, если вы не использовали опцию [all], установите дополнительные требования следующим образом:

pip install -e '.[notebooks]'

Наконец, если вы ещё этого не сделали, загрузите наборы данных, как описано в aif360/data/README.md.

Устранение неполадок

Если при установке возникли ошибки, поищите свою проблему здесь и попробуйте решения.

TensorFlow

Подробные инструкции см. на странице Установка TensorFlow с помощью pip.

Примечание: нам требуется 'tensorflow >= 1.13.1'.

После установки tensorflow попробуйте снова выполнить:

pip install 'aif360[AdversarialDebiasing]'

TensorFlow требуется только для использования класса aif360.algorithms.inprocessing.AdversarialDebiasing.

CVXPY

На MacOS, возможно, сначала потребуется установить Xcode Command Line Tools, если вы ещё этого не делали:

xcode-select --install

В Windows вам может потребоваться загрузить Microsoft C++ Build Tools for Visual Studio 2019. Актуальные инструкции см. на странице Установка CVXPY.

Затем попробуйте переустановить с помощью:

pip install 'aif360[OptimPreproc]'

CVXPY требуется только для использования класса aif360.algorithms.preprocessing.OptimPreproc.

Использование AIF360

Каталог examples содержит разнообразную коллекцию блокнотов Jupyter, которые используют AI Fairness 360 различными способами. И учебные пособия, и демонстрации иллюстрируют рабочий код с использованием AIF360. Учебные пособия содержат дополнительные пояснения, которые проводят пользователя по различным шагам блокнота. Подробнее об учебных пособиях и демонстрациях см. здесь

Цитирование AIF360

Техническое описание AI Fairness 360 доступно в этой статье. Ниже приведена bibtex-запись для этой статьи.

@misc{aif360-oct-2018,
    title = "{AI Fairness} 360:  An Extensible Toolkit for Detecting, Understanding, and Mitigating Unwanted Algorithmic Bias",
    author = {Rachel K. E. Bellamy and Kuntal Dey and Michael Hind and
	Samuel C. Hoffman and Stephanie Houde and Kalapriya Kannan and
	Pranay Lohia and Jacquelyn Martino and Sameep Mehta and
	Aleksandra Mojsilovic and Seema Nagar and Karthikeyan Natesan Ramamurthy and
	John Richards and Diptikalyan Saha and Prasanna Sattigeri and
	Moninder Singh and Kush R. Varshney and Yunfeng Zhang},
    month = oct,
    year = {2018},
    url = {https://arxiv.org/abs/1810.01943}
}

Видео AIF360

• Вводное видео по AI Fairness 360 от Kush Varshney, 20 сентября 2018 г. (32 мин)

Вклад в проект

Форк для разработки Rich Subgroup Fairness (inprocessing/gerryfair_classifier.py) находится здесь. Вклад приветствуется; список возможных направлений вклада от авторов можно найти здесь.