DeeCLIP: Un framework basato su Transformer, robusto e generalizzabile, per il rilevamento di immagini generate dall'IA

☀️ Se trovi utile questo lavoro per la tua ricerca, ti preghiamo di mettere una stella alla nostra repository e citare il nostro articolo! ☀️

TODO

Stiamo lavorando duramente sui seguenti punti:

• Rilascio dell'articolo su ArXiv
• Rilascio degli script di training
• Rilascio degli script di inferenza
• Rilascio dei checkpoint

DeeCLIP

DeeCLIP è un nuovo framework per il rilevamento di immagini generate dall'IA che utilizza una combinazione di CLIP-ViT e apprendimento per fusione. Con il continuo miglioramento dei modelli generativi, il rilevamento delle immagini sintetiche diventa sempre più impegnativo a causa della scarsa generalizzazione e della vulnerabilità alle comuni manipolazioni delle immagini. DeeCLIP affronta questi problemi con un'architettura robusta e adattabile.

---

🔍 Panoramica

DeeCLIP migliora il rilevamento delle immagini generate dall'IA integrando:

• ✅ Apprendimento zero-shot tramite CLIP-ViT per una generalizzazione indipendente dal modello.
• 🧠 Fine-tuning basato su LoRA per adattarsi in modo efficiente senza dimenticare.
• 🔀 DeeFuser: un modulo di fusione personalizzato che combina feature profonde e superficiali per la robustezza al post-processing.
• 🎯 Triplet loss per strutturare lo spazio degli embedding e migliorare la discriminazione tra reale e falso.

---

Requisiti

pip install -r requirements.txt

Download dei pesi del modello

Per utilizzare il modello, scarica i pesi e salvali nella cartella weights.

Download automatico (da riga di comando)

Esegui il seguente comando nel tuo terminale:

mkdir -p weights && wget -O weights/deeclip_weight_complete_with_lora_5.pth "https://www.dropbox.com/scl/fi/ttiqnbxu8atz4on5gqvgd/deeclip_weight_complete_with_lora_5.pth?rlkey=6xznuvriabkqfdcofhi1pbihu&st=fk02k7hf&dl=1"

Metodi di rilevamento allo stato dell'arte (SOTA)

• C2P-CLIP
• RINE
• FatFormer
• AntifakePrompt
• Bi-LORA

Valutazione

Per eseguire il test su un dataset specifico, utilizza il seguente comando:

python testing.py

Grafico T-SNE della distribuzione delle feature

Prestazioni di generalizzazione dei metodi addestrati su ProGAN

I risultati mostrano l'accuratezza (%) su sottoinsiemi di dati reali e sintetici.

Methods	Training Set	#params	MS COCO	Flickr	ControlNet	Dall3	DiffusionDB	IF	LaMA	LTE	SD2Inpaint	SDXL	SGXL	SD3	mAcc
FatFormer	ProGAN	493M	33.97	34.04	28.27	32.07	28.10	27.95	28.67	12.37	22.63	31.97	22.23	35.91	28.18
RINE	ProGAN	434M	99.80	99.90	91.60	75.00	73.00	77.40	30.90	98.20	71.90	22.90	98.50	08.30	70.56
C2P-CLIP	ProGAN	304M	99.67	99.73	15.10	75.57	27.87	89.56	65.43	00.20	27.90	82.90	07.17	70.46	55.13
DecCLIP	ProGAN	306M	97.83	98.50	86.03	69.33	71.10	61.37	63.07	99.97	80.57	62.60	98.90	58.61	78.99

📖 Citazione

se utilizzi il nostro lavoro, ti preghiamo di citare il nostro articolo

@misc{keita2025deecliprobustgeneralizabletransformerbased,
      title={DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images}, 
      author={Mamadou Keita and Wassim Hamidouche and Hessen Bougueffa Eutamene and Abdelmalik Taleb-Ahmed and Abdenour Hadid},
      year={2025},
      eprint={2504.19876},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.19876}, 
}