DeeCLIP: Ein robustes und generalisierbares Transformer-basiertes Framework zur Erkennung KI-generierter Bilder

☀️ Wenn Sie diese Arbeit für Ihre Forschung nützlich finden, geben Sie unserem Repository bitte einen Stern und zitieren Sie unser Paper! ☀️

TODO

Wir arbeiten intensiv an den folgenden Punkten:

• ArXiv-Paper veröffentlichen
• Trainingsskripte veröffentlichen
• Inferenzskripte veröffentlichen
• Checkpoints veröffentlichen

DeeCLIP

DeeCLIP ist ein neuartiges Framework zur Erkennung KI-generierter Bilder, das eine Kombination aus CLIP-ViT und Fusion Learning verwendet. Da sich generative Modelle stetig verbessern, wird die Erkennung synthetischer Bilder aufgrund schlechter Generalisierung und Anfälligkeit gegenüber gängigen Bildmanipulationen zunehmend schwieriger. DeeCLIP begegnet diesen Problemen mit einer robusten und anpassungsfähigen Architektur.

🔍 Überblick

DeeCLIP verbessert die Erkennung KI-generierter Bilder durch die Integration von:

• ✅ Zero-Shot-Lernen über CLIP-ViT für modellagnostische Generalisierung.
• 🧠 LoRA-basiertes Feintuning zur effizienten Anpassung ohne Vergessen.
• 🔀 DeeFuser: ein maßgeschneidertes Fusionsmodul, das tiefe und flache Merkmale für Robustheit gegenüber Nachbearbeitung kombiniert.
• 🎯 Triplet-Loss zur Strukturierung des Einbettungsraums und zur Verbesserung der Unterscheidung zwischen echt und gefälscht.

Anforderungen

pip install -r requirements.txt

Modellgewichte herunterladen

Um das Modell zu verwenden, laden Sie die Gewichte herunter und speichern Sie sie im Ordner weights.

Automatischer Download (Kommandozeile)

Führen Sie den folgenden Befehl in Ihrem Terminal aus:

mkdir -p weights && wget -O weights/deeclip_weight_complete_with_lora_5.pth "https://www.dropbox.com/scl/fi/ttiqnbxu8atz4on5gqvgd/deeclip_weight_complete_with_lora_5.pth?rlkey=6xznuvriabkqfdcofhi1pbihu&st=fk02k7hf&dl=1"

SOTA-Erkennungsmethoden

• C2P-CLIP
• RINE
• FatFormer
• AntifakePrompt
• Bi-LORA

Evaluierung

Um den Test auf einem bestimmten Datensatz auszuführen, verwenden Sie den folgenden Befehl:

python testing.py

T-SNE-Plot der Merkmalsverteilung

Generalisierungsleistung der mit ProGAN trainierten Methoden

Die Ergebnisse zeigen die Genauigkeit (%) auf reellen und synthetischen Datenteilmengen.

📖 Zitation

Wenn Sie unsere Arbeit nutzen, zitieren Sie bitte unser Paper.

@misc{keita2025deecliprobustgeneralizabletransformerbased,
      title={DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images}, 
      author={Mamadou Keita and Wassim Hamidouche and Hessen Bougueffa Eutamene and Abdelmalik Taleb-Ahmed and Abdenour Hadid},
      year={2025},
      eprint={2504.19876},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.19876}, 
}