Anamorpher
Anamorpher (benannt nach Anamorphose) ist ein Werkzeug zum Erstellen und Visualisieren von Bildskalierungsangriffen auf multimodale KI-Systeme. Es bietet eine Frontend-Oberfläche und eine Python-API zum Generieren von Bildern, die multimodale Prompt-Injectionen nur beim Herunterskalieren preisgeben. Weitere Informationen zu diesem Angriffsvektor finden Sie unter "Weaponizing image scaling against production AI systems".
Anamorpher befindet sich in aktiver Beta-Entwicklung. Wir freuen uns über Rückmeldungen und Beiträge!
Funktionen
- Erstellen Sie Payloads für Systeme, die ausgewählte Implementierungen der bikubischen, bilinearen und Nächste-Nachbarn-Herunterskalierungsalgorithmen verwenden
- Vergleichen Sie die Effektivität von Payloads über eine Frontend-Oberfläche, die Implementierungen von OpenCV, PyTorch, TensorFlow und Pillow enthält
- Fügen Sie Ihre eigene benutzerdefinierte Bildskalierungsimplementierung mithilfe des modularen Designs der Python-API hinzu
 |  |
| Frontend-Demo | Gemini CLI-Angriffs-Demo |
Anforderungen
- Python 3.11+
- uv (empfohlen) oder pip
Einrichtung
- Abhängigkeiten installieren:
- Backend ausführen:
uv run python backend/app.py
- Öffnen Sie
frontend/index.html in einem Webbrowser
Windows: Verwenden Sie WSL2 aufgrund von TensorFlow-Abhängigkeiten.
Warnungen und bekannte Einschränkungen
- Aufgrund der probabilistischen Natur dieser Systeme können die Ergebnisse variieren. Für eine konsistente Bewertung führen Sie jedes Beispiel 5 Mal aus.
- Zusätzliche Bildtransformationen können die Wirksamkeit der Injectionen beeinträchtigen.
- Nicht alle Payloads funktionieren gegen jede Implementierung und jeden Parametersatz der bikubischen und bilinearen Herunterskalierungsalgorithmen, da die Robustheit von Anti-Aliasing zwischen Implementierungen variiert, unterschiedliche Standardparameter in Skalierungsbibliotheken und implementationsspezifische Optimierungen das Interpolationsverhalten beeinflussen.
- Dies gilt auch für Produktions-KI-Systeme im weiteren Sinne, da das Systemskalierungsverhalten Änderungen unterliegt.
Betreuer
Referenzen