Логотип Alibi Detect

Alibi Detect — это библиотека Python с доступным исходным кодом, focused on обнаружение выбросов, состязательных атак и дрейфа. Пакет направлен на покрытие как онлайн-, так и офлайн-детекторов для табличных данных, текста, изображений и временных рядов. Для обнаружения дрейфа поддерживаются бэкенды TensorFlow и PyTorch.

Документация

Для получения дополнительной информации о важности мониторинга выбросов и распределений в производственной среде, смотрите этот доклад с семинара Challenges in Deploying and Monitoring Machine Learning Systems ICML 2020, основанный на статье Monitoring and explainability of models in production и ссылающийся на Alibi Detect.

Для подробного введения в обнаружение дрейфа смотрите Protecting Your Machine Learning Against Drift: An Introduction. В докладе рассматривается, что такое дрейф и почему его стоит обнаруживать, различные типы дрейфа, как его можно обнаружить принципиальным образом, а также описывается анатомия детектора дрейфа.

Установка и использование

Пакет alibi-detect можно установить из:

PyPI или исходный код с GitHub (с помощью pip)
Anaconda (с помощью conda/mamba)

С помощью pip

alibi-detect можно установить из PyPI: ```bash pip install alibi-detect
В качестве альтернативы можно установить версию для разработки: ```bash pip install git+https://github.com/SeldonIO/alibi-detect.git
Чтобы установить с бэкендом TensorFlow: ```bash pip install alibi-detect[tensorflow]
Для установки с бэкендом PyTorch: ```bash pip install alibi-detect[torch]
Для установки с бэкендом KeOps: ```bash pip install alibi-detect[keops]
Чтобы использовать детектор выбросов временных рядов Prophet: ```bash pip install alibi-detect[prophet]

С помощью conda

Для установки из conda-forge рекомендуется использовать mamba, который можно установить в базовое окружение conda с помощью:```bash conda install mamba -n base -c conda-forge

Чтобы установить alibi-detect:```bash
mamba install -c conda-forge alibi-detect

Использование

Для иллюстрации API мы воспользуемся детектором выбросов VAE.```python from alibi_detect.od import OutlierVAE from alibi_detect.saving import save_detector, load_detector

initialize and fit detector

od = OutlierVAE(threshold=0.1, encoder_net=encoder_net, decoder_net=decoder_net, latent_dim=1024) od.fit(x_train)

make predictions

preds = od.predict(x_test)

save and load detectors

filepath = './my_detector/' save_detector(od, filepath) od = load_detector(filepath)

Предсказания возвращаются в виде словаря с ключами `meta` и `data`. `meta` содержит метаданные детектора, а `data` — сам словарь с фактическими предсказаниями. Он содержит показатели и пороговые значения для выбросов, состязательных примеров или дрейфа, а также предсказания о том, являются ли экземпляры, например, выбросами. Конкретные детали могут немного различаться от метода к методу, поэтому мы рекомендуем читателю ознакомиться с [поддерживаемыми типами алгоритмов](https://docs.seldon.io/projects/alibi-detect/en/stable/overview/algorithms.html).

## Поддерживаемые алгоритмы

В следующих таблицах показаны рекомендуемые случаи использования для каждого алгоритма. Столбец *Уровень признаков* указывает, можно ли выполнять обнаружение на уровне признаков, например, попиксельно для изображения. Дополнительную информацию см. в [списке ссылок на алгоритмы](#reference-list), где приведены ссылки на документацию и оригинальные статьи, а также примеры для каждого детектора.

### Обнаружение выбросов

| Детектор             | Табличные данные | Изображения | Временные ряды | Текст | Категориальные признаки | Онлайн | Уровень признаков |
|:---------------------|:-------:|:-----:|:-----------:|:----:|:--------------------:|:------:|:-------------:|
| Isolation Forest     |    ✔    |       |             |      |          ✔           |        |               |
| Mahalanobis Distance |    ✔    |       |             |      |          ✔           |   ✔    |               |
| AE                   |    ✔    |   ✔   |             |      |                      |        |       ✔       |
| VAE                  |    ✔    |   ✔   |             |      |                      |        |       ✔       |
| AEGMM                |    ✔    |   ✔   |             |      |                      |        |               |
| VAEGMM               |    ✔    |   ✔   |             |      |                      |        |               |
| Likelihood Ratios    |    ✔    |   ✔   |      ✔      |      |          ✔           |        |       ✔       |
| Prophet              |         |       |      ✔      |      |                      |        |               |
| Spectral Residual    |         |       |      ✔      |      |                      |   ✔    |       ✔       |
| Seq2Seq              |         |       |      ✔      |      |                      |        |       ✔       |

### Обнаружение состязательных примеров

| Детектор           | Табличные данные | Изображения | Временные ряды | Текст | Категориальные признаки | Онлайн | Уровень признаков |
| :---               |  :---:  | :---: |:-----------:|:----:|:--------------------:|:------:|:-------------:|
| Adversarial AE     | ✔       | ✔     |             |      |                      |        |               |
| Model distillation | ✔       | ✔     |      ✔      |  ✔   |          ✔           |        |               |

### Обнаружение дрейфа

| Детектор                         | Табличные данные | Изображения | Временные ряды | Текст  | Категориальные признаки | Онлайн | Уровень признаков |
|:---------------------------------|  :---:  | :---: |   :---:     | :---: |   :---:              | :---:  | :---:         |
| Kolmogorov-Smirnov               | ✔       | ✔     |             | ✔     | ✔                    |        | ✔             |
| Cramér-von Mises                 | ✔       | ✔     |             |       |                      | ✔      | ✔             |
| Fisher's Exact Test              | ✔       |       |             |       | ✔                    | ✔      | ✔             |
| Maximum Mean Discrepancy (MMD)   | ✔       | ✔     |             | ✔     | ✔                    | ✔      |               |
| Learned Kernel MMD               | ✔       | ✔     |             | ✔     | ✔                    |        |               |
| Context-aware MMD                | ✔       | ✔     |  ✔          | ✔     | ✔                    |        |               |
| Least-Squares Density Difference | ✔       | ✔     |             | ✔     | ✔                    | ✔      |               |
| Chi-Squared                      | ✔       |       |             |       | ✔                    |        | ✔             |
| Mixed-type tabular data          | ✔       |       |             |       | ✔                    |        | ✔             |
| Classifier                       | ✔       | ✔     |  ✔          | ✔     | ✔                    |        |               |
| Spot-the-diff                    | ✔       | ✔     |  ✔          | ✔     | ✔                    |        | ✔             |
| Classifier Uncertainty           | ✔       | ✔     |  ✔          | ✔     | ✔                    |        |               |
| Regressor Uncertainty            | ✔       | ✔     |  ✔          | ✔     | ✔                    |        |               |

#### Поддержка TensorFlow и PyTorch

Дрейфовые детекторы поддерживают бэкенды TensorFlow, PyTorch и (где применимо) [KeOps](https://www.kernel-operations.io/keops/index.html). 
Однако Alibi Detect не устанавливает их по умолчанию. Подробнее см. в [вариантах установки](#installation-and-usage).```python
from alibi_detect.cd import MMDDrift

cd = MMDDrift(x_ref, backend='tensorflow', p_val=.05)
preds = cd.predict(x)

Тот же детектор в PyTorch:```python cd = MMDDrift(x_ref, backend='pytorch', p_val=.05) preds = cd.predict(x)

Или в KeOps:```python
cd = MMDDrift(x_ref, backend='keops', p_val=.05)
preds = cd.predict(x)

Встроенные этапы предварительной обработки

Alibi Detect также включает различные этапы предварительной обработки, такие как случайно инициализированные кодировщики, предобученные текстовые эмбеддинги для обнаружения дрейфа с использованием библиотеки transformers и извлечение скрытых слоёв из моделей машинного обучения. Это позволяет обнаруживать различные типы дрейфа, такие как ковариатный сдвиг и сдвиг предсказанного распределения. Этапы предварительной обработки также поддерживаются в TensorFlow и PyTorch.```python from alibi_detect.cd.tensorflow import HiddenOutput, preprocess_drift

model = # TensorFlow model; tf.keras.Model or tf.keras.Sequential preprocess_fn = partial(preprocess_drift, model=HiddenOutput(model, layer=-1), batch_size=128) cd = MMDDrift(x_ref, backend='tensorflow', p_val=.05, preprocess_fn=preprocess_fn) preds = cd.predict(x)

Посмотрите примеры ноутбуков (например, [CIFAR10](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_mmd_cifar10.html), [отзывы о фильмах](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_text_imdb.html)) для получения более подробной информации.

### Справочный список

#### Обнаружение выбросов

- [Isolation Forest](https://docs.seldon.io/projects/alibi-detect/en/stable/od/methods/iforest.html) ([FT Liu et al., 2008](https://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/icdm08b.pdf))
   - Пример: [Сетевое вторжение](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_if_kddcup.html)

- [Mahalanobis Distance](https://docs.seldon.io/projects/alibi-detect/en/stable/od/methods/mahalanobis.html) ([Mahalanobis, 1936](https://insa.nic.in/writereaddata/UpLoadedFiles/PINSA/Vol02_1936_1_Art05.pdf))
   - Пример: [Сетевое вторжение](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_mahalanobis_kddcup.html)

- [Auto-Encoder (AE)](https://docs.seldon.io/projects/alibi-detect/en/stable/od/methods/ae.html)
   - Пример: [CIFAR10](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_ae_cifar10.html)

- [Variational Auto-Encoder (VAE)](https://docs.seldon.io/projects/alibi-detect/en/stable/od/methods/vae.html) ([Kingma et al., 2013](https://arxiv.org/abs/1312.6114))
   - Примеры: [Сетевое вторжение](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_vae_kddcup.html), [CIFAR10](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_vae_cifar10.html)

- [Auto-Encoding Gaussian Mixture Model (AEGMM)](https://docs.seldon.io/projects/alibi-detect/en/stable/od/methods/aegmm.html) ([Zong et al., 2018](https://openreview.net/forum?id=BJJLHbb0-))
   - Пример: [Сетевое вторжение](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_aegmm_kddcup.html)

- [Variational Auto-Encoding Gaussian Mixture Model (VAEGMM)](https://docs.seldon.io/projects/alibi-detect/en/stable/od/methods/vaegmm.html)
   - Пример: [Сетевое вторжение](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_aegmm_kddcup.html)
     
- [Likelihood Ratios](https://docs.seldon.io/projects/alibi-detect/en/stable/od/methods/llr.html) ([Ren et al., 2019](https://arxiv.org/abs/1906.02845))
   - Примеры: [Геном](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_llr_genome.html), [Fashion-MNIST vs. MNIST](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_llr_mnist.html)

- [Prophet Time Series Outlier Detector](https://docs.seldon.io/projects/alibi-detect/en/stable/od/methods/prophet.html) ([Taylor et al., 2018](https://peerj.com/preprints/3190/))
   - Пример: [Прогноз погоды](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_prophet_weather.html)
  
- [Spectral Residual Time Series Outlier Detector](https://docs.seldon.io/projects/alibi-detect/en/stable/od/methods/sr.html) ([Ren et al., 2019](https://arxiv.org/abs/1906.03821))
   - Пример: [Синтетический набор данных](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_sr_synth.html)

- [Sequence-to-Sequence (Seq2Seq) Outlier Detector](https://docs.seldon.io/projects/alibi-detect/en/stable/od/methods/seq2seq.html) ([Sutskever et al., 2014](https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf); [Park et al., 2017](https://arxiv.org/pdf/1711.00614.pdf))
   - Примеры: [ECG](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_seq2seq_ecg.html), [Синтетический набор данных](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/od_seq2seq_synth.html)
  
#### Обнаружение состязательных примеров

- [Adversarial Auto-Encoder](https://docs.seldon.io/projects/alibi-detect/en/stable/ad/methods/adversarialae.html) ([Vacanti and Van Looveren, 2020](https://arxiv.org/abs/2002.09364))
   - Пример: [CIFAR10](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/ad_ae_cifar10.html)

- [Model distillation](https://docs.seldon.io/projects/alibi-detect/en/stable/ad/methods/modeldistillation.html) 
   - Пример: [CIFAR10](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_distillation_cifar10.html)
     
#### Обнаружение дрейфа

- [Kolmogorov-Smirnov](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/ksdrift.html)
   - Пример: [CIFAR10](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_ks_cifar10.html), [молекулярные графы](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_mol.html), [отзывы о фильмах](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_text_imdb.html)

- [Cramér-von Mises](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/cvmdrift.html)
  - Пример: [Пингвины](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_supervised_penguins.html)

- [Fisher's Exact Test](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/fetdrift.html)
  - Пример: [Пингвины](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_supervised_penguins.html)

- [Least-Squares Density Difference](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/lsdddrift.html) ([Bu et al, 2016](https://alippi.faculty.polimi.it/articoli/A%20Pdf%20free%20Change%20Detection%20Test%20Based%20on%20Density%20Difference%20Estimation.pdf))

- [Maximum Mean Discrepancy](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/mmddrift.html) ([Gretton et al, 2012](http://jmlr.csail.mit.edu/papers/v13/gretton12a.html))
   - Пример: [CIFAR10](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_mmd_cifar10.html), [молекулярные графы](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_mol.html), [отзывы о фильмах](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_text_imdb.html), [отзывы Amazon](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_text_amazon.html)

- [Learned Kernel MMD](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/learnedkerneldrift.html) ([Liu et al, 2020](https://arxiv.org/abs/2002.09116))
  - Пример: [CIFAR10](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_clf_cifar10.html)

- [Context-aware MMD](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/contextmmddrift.html) ([Cobb and Van Looveren, 2022](https://arxiv.org/abs/2203.08644))
  - Пример: [ECG](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_context_ecg.html), [новостные темы](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_context_20newsgroup.html)

- [Chi-Squared](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/chisquaredrift.html)
   - Пример: [Прогнозирование дохода](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_chi2ks_adult.html)

- [Mixed-type tabular data](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/tabulardrift.html)
   - Пример: [Прогнозирование дохода](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_chi2ks_adult.html)

- [Classifier](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/classifierdrift.html) ([Lopez-Paz and Oquab, 2017](https://openreview.net/forum?id=SJkXfE5xx))
   - Пример: [CIFAR10](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_clf_cifar10.html), [отзывы Amazon](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_text_amazon.html)

- [Spot-the-diff](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/spotthediffdrift.html) (адаптация [Jitkrittum et al, 2016](https://arxiv.org/abs/1605.06796))
  - Пример [MNIST и качество вина](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/spot_the_diff_mnist_win.html)

- [Classifier and Regressor Uncertainty](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/modeluncdrift.html)
   - Пример: [CIFAR10 и вино](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_model_unc_cifar10_wine.html), [молекулярные графы](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_mol.html)

- [Online Maximum Mean Discrepancy](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/onlinemmddrift.html)
  - Пример: [Качество вина](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_online_wine.html), [медицинская визуализация Camelyon](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_online_camelyon.html)
  
- [Online Least-Squares Density Difference](https://docs.seldon.io/projects/alibi-detect/en/stable/cd/methods/onlinemmddrift.html) ([Bu et al, 2017](https://ieeexplore.ieee.org/abstract/document/7890493))
  - Пример: [Качество вина](https://docs.seldon.io/projects/alibi-detect/en/stable/examples/cd_online_wine.html)


## Наборы данных

Пакет также содержит функциональность в `alibi_detect.datasets` для удобной загрузки ряда наборов данных для различных модальностей. Для каждого набора данных возвращаются либо данные и метки, либо объект *Bunch* с данными, метками и необязательными метаданными. Пример:```python
from alibi_detect.datasets import fetch_ecg

(X_train, y_train), (X_test, y_test) = fetch_ecg(return_X_y=True)

Последовательные данные и временные ряды

Геномный набор данных: fetch_genome
- Набор данных по геномике бактерий для обнаружения вне распределения, выпущенный в рамках Likelihood Ratios for Out-of-Distribution Detection. Из оригинального TL;DR: Набор данных содержит геномные последовательности из 250 пар оснований для 10 классов бактерий внутри распределения для обучения, 60 OOD-классов бактерий для валидации и ещё 60 других OOD-классов бактерий для теста. В обучающем, валидационном и тестовом наборах содержится соответственно 1, 7 и снова 7 миллионов последовательностей. Подробную информацию о наборе данных см. в README. ```python from alibi_detect.datasets import fetch_genome
(X_train, y_train), (X_val, y_val), (X_test, y_test) = fetch_genome(return_X_y=True)
ECG 5000: fetch_ecg
- 5000 ЭКГ, первоначально полученных из Physionet.
NAB: fetch_nab
- Любой одномерный временной ряд в DataFrame из Numenta Anomaly Benchmark. Список доступных временных рядов можно получить с помощью alibi_detect.datasets.get_list_nab().

Images

CIFAR-10-C: fetch_cifar10c
- CIFAR-10-C (Hendrycks & Dietterich, 2019) содержит тестовый набор CIFAR-10, но с добавлением искажений и возмущений различного типа: шум, размытие, яркость и т.д. на разных уровнях серьёзности, что приводит к постепенному снижению производительности модели классификации, обученной на CIFAR-10. fetch_cifar10c позволяет выбрать любой уровень серьёзности или тип искажения. Список доступных типов искажений можно получить с помощью alibi_detect.datasets.corruption_types_cifar10c(). Набор данных можно использовать в исследованиях устойчивости и дрейфа. Оригинальные данные можно найти здесь. Пример: ```python from alibi_detect.datasets import fetch_cifar10c
corruption = ['gaussian_noise', 'motion_blur', 'brightness', 'pixelate'] X, y = fetch_cifar10c(corruption=corruption, severity=5, return_X_y=True)
Adversarial CIFAR-10: fetch_attack
- Загрузите состязательные примеры для классификатора ResNet-56, обученного на CIFAR-10. Доступные атаки: Carlini-Wagner ('cw') и SLIDE ('slide'). Пример: ```python from alibi_detect.datasets import fetch_attack
(X_train, y_train), (X_test, y_test) = fetch_attack('cifar10', 'resnet56', 'cw', return_X_y=True)

Tabular

KDD Cup '99: fetch_kdd
- Набор данных с различными типами компьютерных сетевых вторжений. fetch_kdd позволяет выбрать подмножество сетевых вторжений в качестве целей или выбрать только указанные признаки. Оригинальные данные можно найти здесь.

Модели

Модели и/или строительные блоки, которые могут быть полезны за пределами обнаружения выбросов, состязательных атак или дрейфа, можно найти в alibi_detect.models. Основные реализации:

PixelCNN++: alibi_detect.models.pixelcnn.PixelCNN
Вариационный автокодировщик: alibi_detect.models.autoencoder.VAE
Модель «последовательность-в-последовательность»: alibi_detect.models.autoencoder.Seq2Seq
ResNet: alibi_detect.models.resnet
- Предобученные модели ResNet-20/32/44 на CIFAR-10 можно найти в нашем Google Cloud Bucket, и их можно загрузить следующим образом: ```python from alibi_detect.utils.fetching import fetch_tf_model
model = fetch_tf_model('cifar10', 'resnet32')

Интеграции

Alibi-detect интегрирован в платформу развертывания моделей машинного обучения Seldon Core и фреймворк обслуживания моделей KFServing.

Seldon Core: рабочие примеры обнаружения выбросов и дрейфа.
KFServing: примеры обнаружения выбросов и дрейфа.

Цитирование

Если вы используете alibi-detect в своих исследованиях, пожалуйста, рассмотрите возможность цитирования.

BibTeX-запись:``` @software{alibi-detect, title = {Alibi Detect: Algorithms for outlier, adversarial and drift detection}, author = {Van Looveren, Arnaud and Klaise, Janis and Vacanti, Giovanni and Cobb, Oliver and Scillitoe, Ashley and Samoilescu, Robert and Athorne, Alex}, url = {https://github.com/SeldonIO/alibi-detect}, version = {0.13.0}, date = {2025-12-11}, year = {2019} }

alibi-detect

Популярное

Оглавление