DeeCLIP: एआई-जनित छवियों का पता लगाने के लिए एक मजबूत और सामान्यीकरणीय ट्रांसफॉर्मर-आधारित ढांचा

☀️ यदि आपको यह कार्य आपके शोध के लिए उपयोगी लगे, तो कृपया हमारे रेपो को स्टार करें और हमारे पेपर को उद्धृत करें! ☀️

TODO

हम निम्नलिखित वस्तुओं पर कड़ी मेहनत कर रहे हैं:

• ArXiv पेपर जारी करना
• प्रशिक्षण स्क्रिप्ट जारी करना
• अनुमान स्क्रिप्ट जारी करना
• चेकपॉइंट जारी करना

DeeCLIP

DeeCLIP CLIP-ViT और फ्यूज़न लर्निंग के संयोजन का उपयोग करके एआई-जनित छवियों का पता लगाने के लिए एक नवीन ढांचा है। जैसे-जैसे जनरेटिव मॉडल में सुधार जारी है, खराब सामान्यीकरण और सामान्य छवि हेरफेर के प्रति भेद्यता के कारण सिंथेटिक छवियों का पता लगाना अधिक चुनौतीपूर्ण हो जाता है। DeeCLIP एक मजबूत और अनुकूलनीय वास्तुकला के साथ इन मुद्दों का समाधान करता है।

🔍 अवलोकन

DeeCLIP निम्नलिखित को एकीकृत करके एआई-जनित छवियों का पता लगाने को बढ़ाता है:

• ✅ मॉडल-अज्ञेय सामान्यीकरण के लिए CLIP-ViT के माध्यम से ज़ीरो-शॉट लर्निंग।
• 🧠 बिना भूल के कुशलतापूर्वक अनुकूलन करने के लिए LoRA-आधारित फाइन-ट्यूनिंग।
• 🔀 DeeFuser: पोस्ट-प्रोसेसिंग मजबूती के लिए गहरी और उथली विशेषताओं को संयोजित करने वाला एक कस्टम फ्यूज़न मॉड्यूल।
• 🎯 एम्बेडिंग स्पेस को संरचित करने और वास्तविक बनाम नकली विभेदन में सुधार करने के लिए ट्रिपलेट लॉस।

आवश्यकताएँ

pip install -r requirements.txt

मॉडल वेट डाउनलोड करें

मॉडल का उपयोग करने के लिए, वेट डाउनलोड करें और इसे weights फ़ोल्डर में सहेजें।

स्वचालित डाउनलोड (कमांड लाइन)

अपने टर्मिनल में निम्नलिखित कमांड चलाएँ:

mkdir -p weights && wget -O weights/deeclip_weight_complete_with_lora_5.pth "https://www.dropbox.com/scl/fi/ttiqnbxu8atz4on5gqvgd/deeclip_weight_complete_with_lora_5.pth?rlkey=6xznuvriabkqfdcofhi1pbihu&st=fk02k7hf&dl=1"

SOTA पहचान विधियाँ

• C2P-CLIP
• RINE
• FatFormer
• AntifakePrompt
• Bi-LORA

मूल्यांकन

विशिष्ट डेटासेट पर परीक्षण चलाने के लिए, निम्नलिखित कमांड का उपयोग करें:

python testing.py

फीचर वितरण का T-SNE प्लॉट

ProGAN पर प्रशिक्षित विधियों का सामान्यीकरण प्रदर्शन

परिणाम वास्तविक और सिंथेटिक डेटा उपसमुच्चय पर सटीकता (%) दर्शाते हैं।

📖 उद्धरण

यदि आप हमारे कार्य का उपयोग करते हैं, तो कृपया हमारे पेपर को उद्धृत करें

@misc{keita2025deecliprobustgeneralizabletransformerbased,
      title={DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images}, 
      author={Mamadou Keita and Wassim Hamidouche and Hessen Bougueffa Eutamene and Abdelmalik Taleb-Ahmed and Abdenour Hadid},
      year={2025},
      eprint={2504.19876},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.19876}, 
}