Anamorpher

Anamorpher (llamado así por anamorphosis) es una herramienta para crear y visualizar ataques de escalado de imágenes contra sistemas de IA multimodales. Proporciona una interfaz frontal y una API de Python para generar imágenes que solo revelan inyecciones de avisos multimodales cuando se reducen de tamaño. Consulte "Weaponizing image scaling against production AI systems" para obtener más información sobre este vector de ataque.

Anamorpher está en desarrollo beta activo. Agradecemos los comentarios y contribuciones.

Características

• Generar cargas útiles para sistemas que usan implementaciones selectas de los algoritmos de reducción de escala bicúbica, bilineal y del vecino más cercano
• Comparar la efectividad de las cargas útiles a través de una interfaz frontal que incluye implementaciones de OpenCV, PyTorch, TensorFlow y Pillow
• Incluir su propia implementación personalizada de reducción de escala utilizando el diseño modular de la API de Python

Requisitos

• Python 3.11+
• uv (recomendado) o pip

Configuración

1. Instalar dependencias:

uv sync

2. Ejecutar el backend:

uv run python backend/app.py

3. Abrir frontend/index.html en un navegador web

Windows: Use WSL2 debido a las dependencias de TensorFlow.

Advertencias y Limitaciones Conocidas

• Debido a la naturaleza probabilística de estos sistemas, los resultados pueden variar. Para una evaluación consistente, ejecute cada ejemplo 5 veces.
• Las transformaciones adicionales de imágenes pueden interferir con la efectividad de las inyecciones.
• No todas las cargas útiles funcionarán con cada implementación y conjunto de parámetros de los algoritmos de reducción de escala bicúbica y bilineal como resultado de la variada robustez del anti-aliasing entre implementaciones, diferentes parámetros predeterminados en las bibliotecas de escalado y optimizaciones específicas de implementación que afectan el comportamiento de la interpolación.
• Esto también es cierto para los sistemas de IA en producción en general, ya que el comportamiento de escalado del sistema está sujeto a cambios.

Mantenedores

• Kikimora Morozova
• Suha Sabi Hussain

Referencias

• Weaponizing image scaling against production AI systems
• Adversarial Preprocessing: Understanding and Preventing Image-Scaling Attacks in Machine Learning
• Seeing is Not Believing: Camouflage Attacks on Image Scaling Algorithms