Algorithmen zur Ausreißer-, Adversarial- und Drift-Erkennung
Alibi Detect ist eine quelloffene Python-Bibliothek, die sich auf die Erkennung von Outlier, Adversarial und Drift konzentriert. Das Paket zielt darauf ab, sowohl Online- als auch Offline-Detektoren für tabellarische Daten, Text, Bilder und Zeitreihen abzudecken. Für die Drift-Erkennung werden sowohl TensorFlow- als auch PyTorch-Backends unterstützt.
Weitere Hintergründe zur Bedeutung der Überwachung von Ausreißern und Verteilungen in einer Produktionsumgebung finden Sie in diesem Vortrag vom Challenges in Deploying and Monitoring Machine Learning Systems ICML-2020-Workshop, der auf dem Paper Monitoring and explainability of models in production basiert und auf Alibi Detect verweist.
Eine ausführliche Einführung in die Drift-Erkennung finden Sie in Protecting Your Machine Learning Against Drift: An Introduction. Der Vortrag behandelt, was Drift ist und warum es sich lohnt, ihn zu erkennen, die verschiedenen Arten von Drift, wie er auf prinzipielle Weise erkannt werden kann, und beschreibt außerdem die Anatomie eines Drift-Detektors.
Das Paket alibi-detect kann installiert werden über:
pip)conda/mamba)Prophet-Zeitreihen-Ausreißerdetektor zu verwenden: ```bash
pip install alibi-detect[prophet]
Um von conda-forge zu installieren, wird empfohlen mamba zu verwenden, welches in der base-conda-Umgebung mit folgendem Befehl installiert werden kann:```bash conda install mamba -n base -c conda-forge
Um alibi-detect zu installieren:```bash
mamba install -c conda-forge alibi-detect
Wir verwenden den VAE outlier detector, um die API zu veranschaulichen.```python from alibi_detect.od import OutlierVAE from alibi_detect.saving import save_detector, load_detector
od = OutlierVAE(threshold=0.1, encoder_net=encoder_net, decoder_net=decoder_net, latent_dim=1024) od.fit(x_train)
preds = od.predict(x_test)
filepath = './my_detector/' save_detector(od, filepath) od = load_detector(filepath)
Die Vorhersagen werden in einem Wörterbuch mit den Schlüsseln `meta` und `data` zurückgegeben. `meta` enthält die Metadaten des Detektors, während `data` selbst ein Wörterbuch mit den tatsächlichen Vorhersagen ist. Es enthält die Ausreißer-, Adversarial- oder Drift-Scores und Schwellenwerte sowie die Vorhersagen, ob Instanzen z. B. Ausreißer sind oder nicht. Die genauen Details können von Methode zu Methode leicht variieren, daher empfehlen wir dem Leser, sich mit den [unterstützten Algorithmustypen](https://docs.seldon.io/projects/alibi-detect/en/stable/overview/algorithms.html) vertraut zu machen.
## Unterstützte Algorithmen
Die folgenden Tabellen zeigen die empfohlenen Anwendungsfälle für jeden Algorithmus. Die Spalte *Feature-Ebene* gibt an, ob die Erkennung auf Feature-Ebene durchgeführt werden kann, z. B. pro Pixel für ein Bild. Weitere Informationen finden Sie in der [Algorithmus-Referenzliste](#reference-list) mit Links zur Dokumentation und zu den Originalarbeiten sowie Beispielen für jeden der Detektoren.
### Ausreißererkennung