microsoft/responsible-ai-toolboxИнтерактивные панели мониторинга и библиотеки для ответственной отладки моделей ИИ, охватывающие анализ ошибок, справедливость, интерпретируемость, контрфактуалы, причинно-следственный анализ и сбалансированность данных.
Responsible AI — это подход к оценке, разработке и развертыванию систем ИИ безопасным, надежным и этичным образом, а также к принятию ответственных решений и действий.
Responsible AI Toolbox — это набор инструментов, предоставляющий коллекцию пользовательских интерфейсов и библиотек для исследования и оценки моделей и данных, которые позволяют лучше понимать системы ИИ. Эти интерфейсы и библиотеки дают разработчикам и заинтересованным сторонам систем ИИ возможность разрабатывать и контролировать ИИ более ответственно и принимать более обоснованные решения на основе данных.
Инструментарий состоит из трех репозиториев:
Responsible AI dashboard — это единая панель, позволяющая легко проходить различные этапы отладки моделей и принятия решений. Этот настраиваемый интерфейс можно использовать в самых разных направлениях: от целостного анализа модели или данных до углубленного изучения или сравнения интересующих когорт, объяснения и изменения предсказаний модели для отдельных экземпляров и информирования пользователей о бизнес-решениях и действиях.
Для достижения этих возможностей панель объединяет идеи и технологии из нескольких наборов инструментов с открытым исходным кодом в следующих областях:
Error Analysis на базе Error Analysis, которая выявляет когорты данных с более высокой частотой ошибок, чем общий базовый уровень. Эти расхождения могут возникать, когда система или модель работает хуже для определенных демографических групп или редко встречающихся входных условий в обучающих данных.
Оценка справедливости на базе Fairlearn, которая определяет, какие группы людей могут непропорционально сильно страдать от системы ИИ и каким образом.
Интерпретируемость моделей на базе InterpretML, которая объясняет модели «черного ящика», помогая пользователям понять глобальное поведение своей модели или причины отдельных предсказаний.
Контрфактический анализ на базе DiCE, который показывает версии той же точки данных с измененными признаками, для которых результат предсказания был бы иным. Например, модель отклонила кредитную заявку Тейлора, но Тейлор получил бы кредит, если бы доход был выше на $10,000.
Причинно-следственный анализ на базе EconML, который сосредоточен на ответах на вопросы в стиле «Что если» для принятия решений на основе данных: как изменится выручка, если корпорация применит новую стратегию ценообразования? Улучшит ли новое лекарство состояние пациента при прочих равных условиях?
Баланс данных на базе Responsible AI, который помогает пользователям получить общее представление о своих данных, выявить признаки, получающие положительный исход чаще других, и визуализировать распределения признаков.
Панель Responsible AI предназначена для достижения следующих целей:
Этот репозиторий содержит Jupyter-ноутбуки с примерами, демонстрирующими, как использовать этот виджет. Начните работу здесь.
Используйте следующую команду pip для установки Responsible AI Toolbox.
Если вы работаете в Jupyter, обязательно перезапустите ядро Jupyter после установки.
pip install raiwidgets
Сила Responsible AI Toolbox заключается в его настраиваемости. Он дает пользователям возможность создавать индивидуальные сквозные рабочие процессы отладки моделей и принятия решений, отвечающие их конкретным потребностям. Нужно вдохновение? Вот несколько примеров того, как компоненты Toolbox можно комбинировать для анализа сценариев разными способами:
Обратите внимание, что компоненты обзора модели (включая анализ справедливости) и исследователя данных активированы по умолчанию!
Примеры для табличных данных:
Примеры для текстовых данных:
Примеры для изображений:
Этот API Responsible AI Toolbox поддерживает модели, обученные на наборах данных в формате Python numpy.ndarray, pandas.DataFrame, iml.datatypes.DenseData или scipy.sparse.csr_matrix.
Функции объяснения Interpret-Community принимают на вход как модели, так и конвейеры, при условии, что модель или конвейер реализует функцию predict или predict_proba, соответствующую соглашениям Scikit. Если совместимости нет, вы можете обернуть функцию предсказания вашей модели в функцию-обертку, которая преобразует выходные данные в поддерживаемый формат (predict или predict_proba Scikit), и передать эту функцию-обертку выбранным методам интерпретации.
Если предоставлен скрипт конвейера, функция объяснения предполагает, что выполняемый скрипт конвейера возвращает предсказание. Репозиторий также поддерживает модели, обученные с помощью фреймворков глубокого обучения PyTorch, TensorFlow и Keras.
Инструменты Responsible AI Toolbox также можно использовать с моделями ИИ, предоставляемыми в виде API такими поставщиками, как Azure Cognitive Services. Примеры использования см. в папках ниже:
| Репозиторий | Охватываемые инструменты |
|---|
| Responsible-AI-Toolbox Repository (здесь) | Этот репозиторий содержит четыре виджета визуализации для оценки моделей и принятия решений: 1. Responsible AI dashboard — единая панель, объединяющая несколько зрелых инструментов Responsible AI из набора для целостной ответственной оценки и отладки моделей и принятия обоснованных бизнес-решений. С помощью этой панели можно выявлять ошибки моделей, диагностировать причины их возникновения и устранять их. Кроме того, возможности причинно-следственного принятия решений предоставляют практические выводы для заинтересованных сторон и клиентов. 2. Error Analysis dashboard — для выявления ошибок моделей и обнаружения когорт данных, на которых модель работает хуже. 3. Interpretability dashboard — для понимания предсказаний модели. Эта панель работает на базе InterpretML. 4. Fairness dashboard — для понимания проблем справедливости модели с использованием различных метрик групповой справедливости по чувствительным признакам и когортам. Эта панель работает на базе Fairlearn. |
| Responsible-AI-Toolbox-Mitigations Repository | Библиотека Responsible AI Mitigations помогает специалистам по ИИ исследовать различные измерения и шаги по устранению проблем, которые могут быть наиболее подходящими, когда модель работает хуже для данной когорты данных. В настоящее время в библиотеке есть два модуля: 1. DataProcessing, предлагающий методы смягчения для улучшения производительности модели для конкретных когорт. 2. DataBalanceAnalysis, предоставляющий метрики для диагностики ошибок, возникающих из-за дисбаланса данных либо по меткам классов, либо по значениям признаков. 3. Cohort: предоставляет классы для работы с когортами и управления ими, что позволяет создавать настраиваемые конвейеры для каждой когорты через простой и интуитивно понятный интерфейс. Модуль также предоставляет методы для обучения различных развязанных оценщиков (моделей) для разных когорт и их комбинирования способом, оптимизирующим различные определения групповой справедливости. |
| Responsible-AI-Tracker Repository | Responsible AI Toolbox Tracker — это расширение JupyterLab для управления, отслеживания и сравнения результатов экспериментов машинного обучения с целью улучшения моделей. С помощью этого расширения пользователи могут просматривать модели, код и артефакты визуализации в одном фреймворке, что обеспечивает быстрые итерации и оценку моделей. Основные функции включают: 1. Управление артефактами улучшения моделей и их связывание 2. Декомпозированная оценка моделей и сравнения 3. Интеграция с библиотекой Responsible AI Mitigations 4. Интеграция с mlflow |
| Responsible-AI-Toolbox-GenBit Repository | Библиотека Responsible AI Gender Bias (GenBit) помогает специалистам по ИИ измерять гендерную предвзятость в наборах данных обработки естественного языка (NLP). Основная цель GenBit — анализировать текстовые корпуса и вычислять метрики, дающие представление о гендерной предвзятости, присутствующей в корпусе. |
| Последовательность панели Responsible AI | Вариант использования |
|---|
| Model Overview -> Error Analysis -> Data Explorer | Для выявления ошибок модели и их диагностики на основе понимания распределения данных |
| Model Overview -> Fairness Assessment -> Data Explorer | Для выявления проблем справедливости модели и их диагностики на основе понимания распределения данных |
| Model Overview -> Error Analysis -> Counterfactuals Analysis and What-If | Для диагностики ошибок на отдельных экземплярах с помощью контрфактического анализа (минимальное изменение для получения другого предсказания модели) |
| Model Overview -> Data Explorer -> Data Balance | Для понимания корневых причин ошибок и проблем справедливости, вызванных дисбалансом данных или отсутствием репрезентативности конкретной когорты данных |
| Model Overview -> Interpretability | Для диагностики ошибок модели через понимание того, как модель делает свои предсказания |
| Data Explorer -> Causal Inference | Для различения корреляций и причинно-следственных связей в данных или выбора лучших воздействий для достижения положительного результата |
| Interpretability -> Causal Inference | Чтобы узнать, оказывают ли факторы, которые модель использовала при принятии решений, какое-либо причинное влияние на реальный результат. |
| Data Explorer -> Counterfactuals Analysis and What-If | Для ответа на вопросы клиентов о том, что они могут сделать в следующий раз, чтобы получить от ИИ другой результат. |
| Data Explorer -> Data Balance | Для получения общего представления о данных, выявления признаков, получающих положительный исход чаще других, и визуализации распределений признаков |