DeeCLIP: Un marco robusto y generalizable basado en Transformer para detectar imágenes generadas por IA

☀️ Si este trabajo te resulta útil para tu investigación, ¡por favor, dale una estrella a nuestro repositorio y cita nuestro artículo! ☀️

TODO

Estamos trabajando duro en los siguientes elementos:

• Publicar el artículo en ArXiv
• Publicar los scripts de entrenamiento
• Publicar los scripts de inferencia
• Publicar los checkpoints

DeeCLIP

DeeCLIP es un marco novedoso para detectar imágenes generadas por IA que combina CLIP-ViT y aprendizaje por fusión. A medida que los modelos generativos siguen mejorando, detectar imágenes sintéticas se vuelve más desafiante debido a la mala generalización y la vulnerabilidad a manipulaciones comunes de imagen. DeeCLIP aborda estos problemas con una arquitectura robusta y adaptable.

🔍 Descripción general

DeeCLIP mejora la detección de imágenes generadas por IA integrando:

• ✅ Aprendizaje zero-shot mediante CLIP-ViT para una generalización independiente del modelo.
• 🧠 Ajuste fino basado en LoRA para adaptarse eficientemente sin olvidar.
• 🔀 DeeFuser: un módulo de fusión personalizado que combina características profundas y superficiales para una robustez frente al postprocesado.
• 🎯 Pérdida triplet para estructurar el espacio de embeddings y mejorar la discriminación entre lo real y lo falso.

Requisitos

pip install -r requirements.txt

Descargar pesos del modelo

Para usar el modelo, descarga el peso y guárdalo en la carpeta weights.

Descarga automática (línea de comandos)

Ejecuta el siguiente comando en tu terminal:

mkdir -p weights && wget -O weights/deeclip_weight_complete_with_lora_5.pth "https://www.dropbox.com/scl/fi/ttiqnbxu8atz4on5gqvgd/deeclip_weight_complete_with_lora_5.pth?rlkey=6xznuvriabkqfdcofhi1pbihu&st=fk02k7hf&dl=1"

Métodos de detección SOTA

• C2P-CLIP
• RINE
• FatFormer
• AntifakePrompt
• Bi-LORA

Evaluación

Para ejecutar la prueba en un conjunto de datos específico, usa el siguiente comando:

python testing.py

Gráfico T-SNE de la distribución de características

Rendimiento de generalización de los métodos entrenados en ProGAN

Los resultados muestran la precisión (%) en subconjuntos de datos reales y sintéticos.

📖 Citación

Si utilizas nuestro trabajo, por favor cita nuestro artículo

@misc{keita2025deecliprobustgeneralizabletransformerbased,
      title={DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images}, 
      author={Mamadou Keita and Wassim Hamidouche and Hessen Bougueffa Eutamene and Abdelmalik Taleb-Ahmed and Abdenour Hadid},
      year={2025},
      eprint={2504.19876},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.19876}, 
}