DeeCLIP: Устойчивый и обобщаемый фреймворк на основе Transformer для обнаружения изображений, созданных ИИ

☀️ Если вы считаете эту работу полезной для ваших исследований, пожалуйста, поставьте звёздочку нашему репозиторию и процитируйте нашу статью! ☀️

TODO

Мы активно работаем над следующими пунктами:

• Релиз ArXiv-статьи
• Релиз обучающих скриптов
• Релиз скриптов инференса
• Релиз чекпоинтов

DeeCLIP

DeeCLIP — это новый фреймворк для обнаружения изображений, созданных ИИ, использующий комбинацию CLIP-ViT и обучения на основе слияния. По мере совершенствования генеративных моделей обнаружение синтетических изображений становится всё более сложной задачей из-за плохой обобщаемости и уязвимости к распространённым манипуляциям с изображениями. DeeCLIP решает эти проблемы с помощью устойчивой и адаптируемой архитектуры.

🔍 Обзор

DeeCLIP улучшает обнаружение изображений, созданных ИИ, интегрируя:

• ✅ Zero-shot обучение на основе CLIP-ViT для обобщения, не зависящего от конкретной модели.
• 🧠 Тонкая настройка на основе LoRA для эффективной адаптации без забывания.
• 🔀 DeeFuser: специальный модуль слияния, объединяющий глубокие и поверхностные признаки для устойчивости к постобработке.
• 🎯 Triplet loss для структурирования пространства эмбеддингов и улучшения различения реальных и поддельных изображений.

Требования

pip install -r requirements.txt

Загрузка весов модели

Чтобы использовать модель, загрузите веса и сохраните их в папке weights.

Автоматическая загрузка (командная строка)

Выполните следующую команду в терминале:

mkdir -p weights && wget -O weights/deeclip_weight_complete_with_lora_5.pth "https://www.dropbox.com/scl/fi/ttiqnbxu8atz4on5gqvgd/deeclip_weight_complete_with_lora_5.pth?rlkey=6xznuvriabkqfdcofhi1pbihu&st=fk02k7hf&dl=1"

SOTA-методы обнаружения

• C2P-CLIP
• RINE
• FatFormer
• AntifakePrompt
• Bi-LORA

Оценка

Чтобы запустить тест на конкретном наборе данных, используйте следующую команду:

python testing.py

T-SNE график распределения признаков

Эффективность обобщения методов, обученных на ProGAN

Результаты показывают точность (%) на подмножествах реальных и синтетических данных.

📖 Цитирование

Если вы используете нашу работу, пожалуйста, процитируйте нашу статью

@misc{keita2025deecliprobustgeneralizabletransformerbased,
      title={DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images}, 
      author={Mamadou Keita and Wassim Hamidouche and Hessen Bougueffa Eutamene and Abdelmalik Taleb-Ahmed and Abdenour Hadid},
      year={2025},
      eprint={2504.19876},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.19876}, 
}