Anamorpher
Anamorpher (назван в честь анаморфоза) — это инструмент для создания и визуализации атак с изменением масштаба изображений на мультимодальные AI-системы. Он предоставляет интерфейс фронтенда и Python API для генерации изображений, которые раскрывают мультимодальные инъекции промптов только при уменьшении масштаба. Дополнительную информацию об этом векторе атак см. в статье «Weaponizing image scaling against production AI systems».
Anamorpher находится в активной бета-разработке. Мы рады отзывам и вкладу!
Возможности
- Генерация полезных нагрузок для систем, использующих отдельные реализации алгоритмов бикубического, билинейного и ближайшего соседа при уменьшении масштаба
- Сравнение эффективности полезных нагрузок через интерфейс фронтенда, включающий реализации из OpenCV, PyTorch, TensorFlow и Pillow
- Возможность добавления собственной реализации уменьшения масштаба изображений с помощью модульной конструкции Python API
 |
 |
| Демонстрация фронтенда |
Демонстрация атаки Gemini CLI |
Требования
- Python 3.11+
- uv (рекомендуется) или pip
Установка
- Установите зависимости:
uv sync
- Запустите бэкенд:
uv run python backend/app.py
- Откройте
frontend/index.html в веб-браузере
Windows: Используйте WSL2 из-за зависимостей TensorFlow.
Предупреждения и известные ограничения
- Из-за вероятностной природы этих систем результаты могут различаться. Для последовательной оценки запускайте каждый пример 5 раз.
- Дополнительные преобразования изображений могут снизить эффективность инъекций.
- Не все полезные нагрузки будут работать с каждой реализацией и набором параметров алгоритмов бикубического и билинейного уменьшения масштаба из-за различной устойчивости сглаживания в разных реализациях, отличающихся параметров по умолчанию в библиотеках масштабирования и оптимизаций, специфичных для реализации, которые влияют на поведение интерполяции.
- Это также справедливо для производственных AI-систем в целом, так как поведение масштабирования в системе может изменяться.
Сопровождающие
Ссылки
trailofbits/anamorpher
