Anamorpher

Anamorpher (nome inspirado em anamorfose) é uma ferramenta para criar e visualizar ataques de redimensionamento de imagem contra sistemas de IA multimodais. Ela fornece uma interface frontend e uma API Python para gerar imagens que só revelam injeções de prompt multimodais quando reduzidas. Consulte "Weaponizing image scaling against production AI systems" para mais informações sobre este vetor de ataque.

O Anamorpher está em desenvolvimento beta ativo. Aceitamos feedback e contribuições!

Funcionalidades

• Gerar payloads para sistemas que utilizam implementações específicas dos algoritmos de redução bicúbico, bilinear e vizinho mais próximo
• Comparar a eficácia dos payloads através de uma interface frontend que inclui implementações do OpenCV, PyTorch, TensorFlow e Pillow
• Incluir sua própria implementação personalizada de redução de imagem utilizando o design modular da API Python

Requisitos

• Python 3.11+
• uv (recomendado) ou pip

Configuração

1. Instalar dependências:

uv sync

2. Executar o backend:

uv run python backend/app.py

3. Abrir frontend/index.html em um navegador

Windows: Utilize WSL2 devido às dependências do TensorFlow.

Avisos e Limitações Conhecidas

• Devido à natureza probabilística destes sistemas, os resultados podem variar. Para uma avaliação consistente, execute cada exemplo 5 vezes.
• Transformações adicionais na imagem podem interferir na eficácia das injeções.
• Nem todos os payloads funcionarão contra cada implementação e conjunto de parâmetros dos algoritmos de redução bicúbico e bilinear, como resultado da variabilidade na robustez do anti-aliasing entre as implementações, diferentes parâmetros padrão nas bibliotecas de redimensionamento e otimizações específicas de implementação que afetam o comportamento da interpolação.
• Isso também se aplica a sistemas de IA de produção de forma mais ampla, já que o comportamento de redimensionamento do sistema está sujeito a alterações.

Mantenedores

• Kikimora Morozova
• Suha Sabi Hussain

Referências

• Weaponizing image scaling against production AI systems
• Adversarial Preprocessing: Understanding and Preventing Image-Scaling Attacks in Machine Learning
• Seeing is Not Believing: Camouflage Attacks on Image Scaling Algorithms