jiep/offensive-ai-compilationEine kuratierte Liste nützlicher Ressourcen, die Offensive AI abdecken.
Eine kuratierte Liste nützlicher Ressourcen, die sich mit offensiver KI befassen.
Ausnutzung der Schwachstellen von KI-Modellen.
Adversarial Machine Learning ist dafür verantwortlich, ihre Schwächen zu bewerten und Gegenmaßnahmen bereitzustellen.
Es ist in vier Angriffsarten organisiert: Extraktion, Inversion, Vergiftung und Umgehung.
Sie versucht, die Parameter und Hyperparameter eines Modells zu stehlen, indem sie Anfragen stellt, die die Extraktion von Informationen maximieren.
Abhängig vom Wissen des Angreifers über das Modell können White-Box- und Black-Box-Angriffe durchgeführt werden.
Im einfachsten White-Box-Fall (wenn der Angreifer vollständige Kenntnis des Modells hat, z. B. einer Sigmoidfunktion) kann ein System linearer Gleichungen erstellt werden, das leicht gelöst werden kann.
Im allgemeinen Fall, in dem die Kenntnis des Modells unzureichend ist, wird das Ersatzmodell verwendet. Dieses Modell wird mit den Anfragen trainiert, die an das Originalmodell gerichtet werden, um dieselbe Funktionalität wie das Original nachzuahmen.
Das Training eines Ersatzmodells ist (in vielen Fällen) gleichbedeutend mit dem Training eines Modells von Grund auf.
Sehr rechenintensiv.
Der Angreifer ist hinsichtlich der Anzahl der Anfragen begrenzt, bevor er erkannt wird.
Rundung der Ausgabewerte.
Verwendung von Differential Privacy.
Verwendung von Ensembles.
Verwendung spezifischer Verteidigungsmaßnahmen
Sie zielen darauf ab, den Informationsfluss eines Modells für maschinelles Lernen umzukehren.
Sie ermöglichen es einem Angreifer, das Modell kennenzulernen, das nicht ausdrücklich zur Weitergabe bestimmt war.
Sie erlauben uns, die Trainingsdaten oder Informationen als statistische Eigenschaften des Modells zu erfahren.
Drei Typen sind möglich:
Membership-Inference-Angriff (MIA): Ein Angreifer versucht zu bestimmen, ob eine Stichprobe Teil des Trainings war.
Property-Inference-Angriff (PIA): Ein Angreifer zielt darauf ab, statistische Eigenschaften zu extrahieren, die während der Trainingsphase nicht explizit als Merkmale kodiert wurden.
Rekonstruktion: Ein Angreifer versucht, eine oder mehrere Stichproben aus dem Trainingssatz und/oder deren zugehörige Labels zu rekonstruieren. Wird auch als Inversion bezeichnet.
Verwendung fortschrittlicher Kryptografie. Zu den Gegenmaßnahmen gehören Differential Privacy, homomorphe Kryptografie und sicheres Mehrparteienrechnen.
Verwendung von Regularisierungstechniken wie Dropout aufgrund des Zusammenhangs zwischen Übertraining und Privatsphäre.
Modellkomprimierung wurde als Verteidigung gegen Rekonstruktionsangriffe vorgeschlagen.
Sie zielen darauf ab, den Trainingssatz zu korrumpieren, indem sie ein Modell für maschinelles Lernen dazu bringen, seine Genauigkeit zu verringern.
Dieser Angriff ist schwer zu erkennen, wenn er an den Trainingsdaten durchgeführt wird, da er sich zwischen verschiedenen Modellen ausbreiten kann, die dieselben Trainingsdaten verwenden.
Der Angreifer versucht, die Verfügbarkeit des Modells zu zerstören, indem er die Entscheidungsgrenze verändert und dadurch falsche Vorhersagen erzeugt, oder eine Hintertür in einem Modell zu schaffen. Im letzteren Fall verhält sich das Modell in den meisten Fällen korrekt (liefert die gewünschten Vorhersagen), außer bei bestimmten Eingaben, die der Angreifer speziell erstellt hat und die unerwünschte Ergebnisse erzeugen. Der Angreifer kann die Ergebnisse der Vorhersagen manipulieren und zukünftige Angriffe starten.
BadNets sind die einfachste Art von Hintertür in einem Modell für maschinelles Lernen. Darüber hinaus können BadNets in einem Modell erhalten bleiben, selbst wenn sie für eine andere Aufgabe als das ursprüngliche Modell erneut trainiert werden (Transfer Learning).
Es ist wichtig zu beachten, dass öffentliche vortrainierte Modelle Hintertüren enthalten können.
Erkennung vergifteter Daten sowie die Verwendung von Datenbereinigung.
Robuste Trainingsmethoden.
Spezifische Verteidigungen.
Ein Angreifer fügt der Eingabe eines Modells für maschinelles Lernen eine kleine Störung (in Form von Rauschen) hinzu, um es zu einer falschen Klassifizierung zu veranlassen (adversariales Beispiel).
Sie ähneln Vergiftungsangriffen, aber ihr Hauptunterschied besteht darin, dass Umgehungsangriffe versuchen, die Schwachstellen des Modells in der Inferenzphase auszunutzen.
Das Ziel des Angreifers ist es, dass adversariale Beispiele für einen Menschen nicht wahrnehmbar sind.
Abhängig von der vom Gegner gewünschten Ausgabe können zwei Arten von Angriffen durchgeführt werden:
Gezielt: Der Angreifer möchte eine Vorhersage seiner Wahl erhalten.
Ungezielt: Der Angreifer beabsichtigt, eine Fehlklassifizierung zu erreichen.
Die häufigsten Angriffe sind White-Box-Angriffe:
Adversariales Training, das darin besteht, während des Trainings adversariale Beispiele zu erzeugen, damit das Modell Merkmale der adversarialen Beispiele lernt und robuster gegenüber dieser Art von Angriffen wird.
Transformationen der Eingaben.
Gradient Masking/Regularisierung. Nicht sehr effektiv.
Schwache Verteidigungen.
Prompt Injection Defenses: Jede praktische und vorgeschlagene Verteidigung gegen Prompt Injection.
Lakera PINT Benchmark: Der Prompt-Injection-Test-Benchmark (PINT) bietet eine neutrale Möglichkeit, die Leistung eines Prompt-Injection-Erkennungssystems wie Lakera Guard zu bewerten, ohne auf bekannte öffentliche Datensätze zurückzugreifen, die diese Tools zur Optimierung der Evaluierungsleistung nutzen können.
Devil's Inference: Eine Methode zur adversarischen Bewertung des Phi-3-Instruct-Modells, indem die Aufmerksamkeitsverteilung über seine Köpfe bei bestimmten Eingaben beobachtet wird. Dieser Ansatz veranlasst das Modell, die 'Denkweise des Teufels’ anzunehmen, wodurch es Ausgaben gewalttätiger Natur erzeugen kann.
Over-the-Air Adversarial Attack Detection: from Datasets to Defenses
Harnessing Hyperbolic Geometry for Harmful Prompt Detection and Sanitization
Die Adversarial Robustness Toolbox, abgekürzt ART, ist eine Open-Source-Bibliothek für Adversarial Machine Learning zum Testen der Robustheit von Modellen des maschinellen Lernens.
Sie ist in Python entwickelt und implementiert Extraktions-, Inversions-, Poisoning- und Evasion-Angriffe sowie Verteidigungen.
ART unterstützt die gängigsten Frameworks: Tensorflow, Keras, PyTorch, MxNet und ScikitLearn, um nur einige zu nennen.
Sie ist nicht auf Modelle beschränkt, die Bilder als Eingabe verwenden, sondern unterstützt auch andere Datentypen wie Audio, Video, tabellarische Daten usw.
Workshop zum Erlernen von Adversarial Machine Learning mit ART 🇪🇸
Cleverhans ist eine Bibliothek zur Durchführung von Evasion-Angriffen und zum Testen der Robustheit eines Deep-Learning-Modells anhand von Bildmodellen.
Es ist in Python entwickelt und integriert sich in die Frameworks Tensorflow, Torch und JAX.
Es implementiert zahlreiche Angriffe wie L-BFGS, FGSM, JSMA, C&W und andere.
KI wird verwendet, um bösartige Aufgaben auszuführen und klassische Angriffe zu verstärken.
| Name | Typ | Unterstützte Algorithmen | Unterstützte Angriffsarten | Angriff/Verteidigung | Unterstützte Frameworks | Popularität |
|---|
| Cleverhans | Bild | Deep Learning | Evasion | Angriff | Tensorflow, Keras, JAX | |
| Foolbox | Bild | Deep Learning | Evasion | Angriff | Tensorflow, PyTorch, JAX | |
| ART | Beliebiger Typ (Bild, tabellarische Daten, Audio, ...) | Deep Learning, SVM, LR, usw. | Beliebig (Extraktion, Inferenz, Poisoning, Evasion) | Beide | Tensorflow, Keras, Pytorch, Scikit Learn | |
| TextAttack | Text | Deep Learning | Evasion | Angriff | Keras, HuggingFace | |
| Advertorch | Bild | Deep Learning | Evasion | Beide | --- | |
| AdvBox | Bild | Deep Learning | Evasion | Beide | PyTorch, Tensorflow, MxNet | |
| DeepRobust | Bild, Graph | Deep Learning | Evasion | Beide | PyTorch | |
| Counterfit | Beliebig | Beliebig | Evasion | Angriff | --- | |
| Adversarial Audio Examples | Audio | DeepSpeech | Evasion | Angriff | --- |
