DeeCLIP : Un framework robuste et généralisable basé sur Transformer pour la détection d'images générées par IA

☀️ Si vous trouvez ce travail utile pour votre recherche, veuillez mettre une étoile sur notre dépôt et citer notre article ! ☀️

À faire

Nous travaillons dur sur les éléments suivants :

• Publier l'article ArXiv
• Publier les scripts d'entraînement
• Publier les scripts d'inférence
• Publier les points de contrôle

DeeCLIP

DeeCLIP est un nouveau framework pour détecter les images générées par IA utilisant une combinaison de CLIP-ViT et d'apprentissage par fusion. Alors que les modèles génératifs continuent de s'améliorer, la détection d'images synthétiques devient plus difficile en raison d'une faible généralisation et d'une vulnérabilité aux manipulations d'images courantes. DeeCLIP aborde ces problèmes avec une architecture robuste et adaptable.

🔍 Aperçu

DeeCLIP améliore la détection des images générées par IA en intégrant :

• ✅ Apprentissage zero-shot via CLIP-ViT pour une généralisation indépendante du modèle.
• 🧠 Ajustement fin basé sur LoRA pour s'adapter efficacement sans oublier.
• 🔀 DeeFuser : un module de fusion personnalisé combinant des caractéristiques profondes et superficielles pour la robustesse au post-traitement.
• 🎯 Triplet loss pour structurer l'espace d'embedding et améliorer la discrimination entre réel et faux.

Prérequis

pip install -r requirements.txt

Téléchargement des poids du modèle

Pour utiliser le modèle, téléchargez les poids et enregistrez-les dans le dossier weights.

Téléchargement automatique (ligne de commande)

Exécutez la commande suivante dans votre terminal :

mkdir -p weights && wget -O weights/deeclip_weight_complete_with_lora_5.pth "https://www.dropbox.com/scl/fi/ttiqnbxu8atz4on5gqvgd/deeclip_weight_complete_with_lora_5.pth?rlkey=6xznuvriabkqfdcofhi1pbihu&st=fk02k7hf&dl=1"

Méthodes de détection SOTA

• C2P-CLIP
• RINE
• FatFormer
• AntifakePrompt
• Bi-LORA

Évaluation

Pour exécuter le test sur un ensemble de données spécifique, utilisez la commande suivante :

python testing.py

Tracé T-SNE de la distribution des caractéristiques

Performance de généralisation des méthodes entraînées sur ProGAN

Les résultats montrent la précision (%) sur des sous-ensembles de données réelles et synthétiques.

📖 Citation

si vous utilisez notre travail, veuillez citer notre article

@misc{keita2025deecliprobustgeneralizabletransformerbased,
      title={DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images}, 
      author={Mamadou Keita and Wassim Hamidouche and Hessen Bougueffa Eutamene and Abdelmalik Taleb-Ahmed and Abdenour Hadid},
      year={2025},
      eprint={2504.19876},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.19876}, 
}