AI Fairness 360 (AIF360)

Инструментарий AI Fairness 360 — это расширяемая библиотека с открытым исходным кодом, содержащая методики, разработанные исследовательским сообществом для обнаружения и смягчения предвзятости в моделях машинного обучения на протяжении всего жизненного цикла приложений ИИ. Пакет AI Fairness 360 доступен на Python и R.

Пакет AI Fairness 360 включает:

1. комплексный набор метрик для наборов данных и моделей для проверки на предвзятость,
2. пояснения к этим метрикам и
3. алгоритмы для смягчения предвзятости в наборах данных и моделях. Он предназначен для переноса алгоритмических исследований из лаборатории в реальную практику в таких разнообразных областях, как финансы, управление человеческим капиталом, здравоохранение и образование. Мы приглашаем вас использовать и улучшать его.

Интерактивный опыт AI Fairness 360 даёт мягкое введение в концепции и возможности. Учебные пособия и другие блокноты предлагают более глубокое введение, ориентированное на специалистов по данным. Также доступен полный API.

Поскольку это комплексный набор возможностей, может быть непросто понять, какие метрики и алгоритмы наиболее подходят для конкретного случая использования. Чтобы помочь вам, мы создали рекомендательные материалы, к которым можно обратиться.

Мы разработали пакет с расчётом на расширяемость. Эта библиотека всё ещё находится в разработке. Мы приветствуем вклад в виде ваших метрик, методов объяснения и алгоритмов устранения предвзятости.

Свяжитесь с нами в Slack (приглашение здесь)!

Поддерживаемые алгоритмы устранения предвзятости

• Optimized Preprocessing (Calmon et al., 2017)
• Disparate Impact Remover (Feldman et al., 2015)
• Equalized Odds Postprocessing (Hardt et al., 2016)
• Reweighing (Kamiran and Calders, 2012)
• Reject Option Classification (Kamiran et al., 2012)
• Prejudice Remover Regularizer (Kamishima et al., 2012)
• Calibrated Equalized Odds Postprocessing (Pleiss et al., 2017)
• Learning Fair Representations (Zemel et al., 2013)
• Adversarial Debiasing (Zhang et al., 2018)
• Meta-Algorithm for Fair Classification (Celis et al., 2018)
• Rich Subgroup Fairness (Kearns, Neel, Roth, Wu, 2018)
• Exponentiated Gradient Reduction (Agarwal et al., 2018)
• Grid Search Reduction (Agarwal et al., 2018, Agarwal et al., 2019)
• Fair Data Adaptation (Plečko and Meinshausen, 2020, Plečko et al., 2021)
• Sensitive Set Invariance/Sensitive Subspace Robustness (Yurochkin and Sun, 2020, Yurochkin et al., 2019)

Поддерживаемые метрики справедливости

• Комплексный набор групповых метрик справедливости, основанных на коэффициентах отбора и ошибок, включая справедливость для богатых подгрупп
• Комплексный набор метрик искажения выборки
• Generalized Entropy Index (Speicher et al., 2018)
• Differential Fairness and Bias Amplification (Foulds et al., 2018)
• Bias Scan with Multi-Dimensional Subset Scan (Zhang, Neill, 2017)

Установка

R

install.packages("aif360")

Более подробные сведения об установке R см. в инструкциях здесь.

Python

Поддерживаемые конфигурации Python:

OS	Версия Python
macOS	3.10 – 3.13
Ubuntu	3.10 – 3.13
Windows	3.10 – 3.13

(Необязательно) Создание виртуального окружения

AIF360 требует определённых версий многих пакетов Python, которые могут конфликтовать с другими проектами в вашей системе. Настоятельно рекомендуется использовать менеджер виртуальных окружений, чтобы гарантировать безопасную установку зависимостей. Если у вас возникли проблемы с установкой AIF360, попробуйте сначала это.

Conda

Conda рекомендуется для всех конфигураций, хотя Virtualenv в целом взаимозаменяем для наших целей. Miniconda достаточно (см. различие между Anaconda и Miniconda, если вам интересно), если у вас ещё не установлен conda.

Затем, чтобы создать новое окружение Python 3.11, выполните:

conda create --name aif360 python=3.11
conda activate aif360

Приглашение оболочки теперь должно выглядеть как (aif360) $. Чтобы деактивировать окружение, выполните:

(aif360)$ conda deactivate

Приглашение вернётся к $ .

Установка с помощью pip

Чтобы установить последнюю стабильную версию из PyPI, выполните:

pip install aif360

Примечание: некоторые алгоритмы требуют дополнительных зависимостей (хотя все метрики будут работать "из коробки"). Чтобы установить пакет с определёнными зависимостями алгоритмов, выполните, например:

pip install 'aif360[LFR,OptimPreproc]'

или для полной функциональности выполните:

pip install 'aif360[all]'

Доступные дополнительные опции: OptimPreproc, LFR, AdversarialDebiasing, DisparateImpactRemover, LIME, ART, Reductions, FairAdapt, inFairness, LawSchoolGPA, notebooks, tests, docs, all

Если вы столкнулись с ошибками, попробуйте выполнить действия из раздела Устранение неполадок.

Установка вручную

Клонируйте последнюю версию этого репозитория:

git clone https://github.com/Trusted-AI/AIF360

Если вы хотите запустить примеры, загрузите наборы данных сейчас и поместите их в соответствующие папки, как описано в aif360/data/README.md.

Затем перейдите в корневой каталог проекта и выполните:

pip install --editable '.[all]'

Запуск примеров

Чтобы запустить примеры блокнотов, выполните описанные выше шаги ручной установки. Затем, если вы не использовали опцию [all], установите дополнительные требования следующим образом:

pip install -e '.[notebooks]'

Наконец, если вы ещё этого не сделали, загрузите наборы данных, как описано в aif360/data/README.md.

Устранение неполадок

Если при установке возникли ошибки, поищите свою проблему здесь и попробуйте решения.

TensorFlow

Подробные инструкции см. на странице Установка TensorFlow с помощью pip.

Примечание: нам требуется 'tensorflow >= 1.13.1'.