Anamorpher

Anamorpher (che prende il nome da anamorphosis) è uno strumento per creare e visualizzare attacchi di ridimensionamento delle immagini contro sistemi AI multimodali. Fornisce un'interfaccia frontend e un'API Python per generare immagini che rivelano iniezioni di prompt multimodali solo quando vengono ridimensionate. Fare riferimento a "Weaponizing image scaling against production AI systems" per maggiori informazioni su questo vettore di attacco.

Anamorpher è in fase di sviluppo beta attivo. Accogliamo con favore feedback e contributi!

Funzionalità

• Genera payload per sistemi che utilizzano implementazioni selezionate degli algoritmi di ridimensionamento bicubico, bilineare e nearest neighbor
• Confronta l'efficacia dei payload tramite un'interfaccia frontend che include implementazioni da OpenCV, PyTorch, TensorFlow e Pillow
• Includi la tua implementazione personalizzata di ridimensionamento delle immagini utilizzando il design modulare dell'API Python

Requisiti

• Python 3.11+
• uv (consigliato) o pip

Configurazione

1. Installa le dipendenze:

uv sync

2. Esegui il backend:

uv run python backend/app.py

3. Apri frontend/index.html in un browser web

Windows: Usa WSL2 a causa delle dipendenze di TensorFlow.

Avvertenze e Limitazioni Note

• A causa della natura probabilistica di questi sistemi, i risultati possono variare. Per una valutazione coerente, esegui ogni esempio 5 volte.
• Ulteriori trasformazioni delle immagini potrebbero interferire con l'efficacia delle iniezioni.
• Non tutti i payload funzioneranno contro ogni implementazione e set di parametri degli algoritmi di ridimensionamento bicubico e bilineare a causa della diversa robustezza dell'anti-aliasing tra le implementazioni, dei diversi parametri predefiniti nelle librerie di ridimensionamento e delle ottimizzazioni specifiche dell'implementazione che influenzano il comportamento dell'interpolazione.
• Questo vale anche per i sistemi AI in produzione in generale, poiché il comportamento di ridimensionamento del sistema è soggetto a modifiche.

Manutentori

• Kikimora Morozova
• Suha Sabi Hussain

Riferimenti

• Armare il ridimensionamento delle immagini contro i sistemi AI di produzione
• Preprocessing Avversariale: Comprendere e Prevenire gli Attacchi di Ridimensionamento delle Immagini nel Machine Learning
• Vedere non è Credere: Attacchi di Camuffamento sugli Algoritmi di Ridimensionamento delle Immagini