microsoft/responsible-ai-toolboxИнтерактивные панели мониторинга и библиотеки для ответственной отладки моделей ИИ, охватывающие анализ ошибок, справедливость, интерпретируемость, контрфактуалы, причинно-следственный анализ и сбалансированность данных.
Responsible AI — это подход к оценке, разработке и развертыванию систем ИИ безопасным, надежным и этичным образом, а также к принятию ответственных решений и действий.
Responsible AI Toolbox — это набор инструментов, предоставляющий коллекцию пользовательских интерфейсов и библиотек для исследования и оценки моделей и данных, которые позволяют лучше понимать системы ИИ. Эти интерфейсы и библиотеки дают разработчикам и заинтересованным сторонам систем ИИ возможность разрабатывать и контролировать ИИ более ответственно и принимать более обоснованные решения на основе данных.
Инструментарий состоит из трех репозиториев:
| Репозиторий | Охватываемые инструменты |
|---|---|
| Responsible-AI-Toolbox Repository (здесь) | Этот репозиторий содержит четыре виджета визуализации для оценки моделей и принятия решений: 1. Responsible AI dashboard — единая панель, объединяющая несколько зрелых инструментов Responsible AI из набора для целостной ответственной оценки и отладки моделей и принятия обоснованных бизнес-решений. С помощью этой панели можно выявлять ошибки моделей, диагностировать причины их возникновения и устранять их. Кроме того, возможности причинно-следственного принятия решений предоставляют практические выводы для заинтересованных сторон и клиентов. 2. Error Analysis dashboard — для выявления ошибок моделей и обнаружения когорт данных, на которых модель работает хуже. 3. Interpretability dashboard — для понимания предсказаний модели. Эта панель работает на базе InterpretML. 4. Fairness dashboard — для понимания проблем справедливости модели с использованием различных метрик групповой справедливости по чувствительным признакам и когортам. Эта панель работает на базе Fairlearn. |
| Responsible-AI-Toolbox-Mitigations Repository | Библиотека Responsible AI Mitigations помогает специалистам по ИИ исследовать различные измерения и шаги по устранению проблем, которые могут быть наиболее подходящими, когда модель работает хуже для данной когорты данных. В настоящее время в библиотеке есть два модуля: 1. DataProcessing, предлагающий методы смягчения для улучшения производительности модели для конкретных когорт. 2. DataBalanceAnalysis, предоставляющий метрики для диагностики ошибок, возникающих из-за дисбаланса данных либо по меткам классов, либо по значениям признаков. 3. Cohort: предоставляет классы для работы с когортами и управления ими, что позволяет создавать настраиваемые конвейеры для каждой когорты через простой и интуитивно понятный интерфейс. Модуль также предоставляет методы для обучения различных развязанных оценщиков (моделей) для разных когорт и их комбинирования способом, оптимизирующим различные определения групповой справедливости. |
| Responsible-AI-Tracker Repository | Responsible AI Toolbox Tracker — это расширение JupyterLab для управления, отслеживания и сравнения результатов экспериментов машинного обучения с целью улучшения моделей. С помощью этого расширения пользователи могут просматривать модели, код и артефакты визуализации в одном фреймворке, что обеспечивает быстрые итерации и оценку моделей. Основные функции включают: 1. Управление артефактами улучшения моделей и их связывание 2. Декомпозированная оценка моделей и сравнения 3. Интеграция с библиотекой Responsible AI Mitigations 4. Интеграция с mlflow |
| Responsible-AI-Toolbox-GenBit Repository | Библиотека Responsible AI Gender Bias (GenBit) помогает специалистам по ИИ измерять гендерную предвзятость в наборах данных обработки естественного языка (NLP). Основная цель GenBit — анализировать текстовые корпуса и вычислять метрики, дающие представление о гендерной предвзятости, присутствующей в корпусе. |
Responsible AI dashboard — это единая панель, позволяющая легко проходить различные этапы отладки моделей и принятия решений. Этот настраиваемый интерфейс можно использовать в самых разных направлениях: от целостного анализа модели или данных до углубленного изучения или сравнения интересующих когорт, объяснения и изменения предсказаний модели для отдельных экземпляров и информирования пользователей о бизнес-решениях и действиях.
Для достижения этих возможностей панель объединяет идеи и технологии из нескольких наборов инструментов с открытым исходным кодом в следующих областях:
Error Analysis на базе Error Analysis, которая выявляет когорты данных с более высокой частотой ошибок, чем общий базовый уровень. Эти расхождения могут возникать, когда система или модель работает хуже для определенных демографических групп или редко встречающихся входных условий в обучающих данных.
Оценка справедливости на базе Fairlearn, которая определяет, какие группы людей могут непропорционально сильно страдать от системы ИИ и каким образом.
Интерпретируемость моделей на базе InterpretML, которая объясняет модели «черного ящика», помогая пользователям понять глобальное поведение своей модели или причины отдельных предсказаний.
Контрфактический анализ на базе DiCE, который показывает версии той же точки данных с измененными признаками, для которых результат предсказания был бы иным. Например, модель отклонила кредитную заявку Тейлора, но Тейлор получил бы кредит, если бы доход был выше на $10,000.
