DeeCLIP: Uma Estrutura Robusta e Generalizável Baseada em Transformer para Detecção de Imagens Geradas por IA

☀️ Se você achar este trabalho útil para sua pesquisa, por favor, dê uma estrela no nosso repositório e cite nosso artigo! ☀️

A FAZER

Estamos trabalhando duro nos seguintes itens:

• Disponibilizar o artigo no ArXiv
• Disponibilizar scripts de treinamento
• Disponibilizar scripts de inferência
• Disponibilizar checkpoints

DeeCLIP

DeeCLIP é uma nova estrutura para detectar imagens geradas por IA usando uma combinação de CLIP-ViT e aprendizado por fusão. À medida que os modelos generativos continuam melhorando, detectar imagens sintéticas torna-se mais desafiador devido à baixa generalização e à vulnerabilidade a manipulações comuns de imagem. DeeCLIP enfrenta esses problemas com uma arquitetura robusta e adaptável.

🔍 Visão Geral

O DeeCLIP aprimora a detecção de imagens geradas por IA ao integrar:

• ✅ Aprendizado zero-shot via CLIP-ViT para generalização agnóstica de modelo.
• 🧠 Ajuste fino baseado em LoRA para se adaptar eficientemente sem esquecer.
• 🔀 DeeFuser: um módulo de fusão personalizado que combina características profundas e rasas para robustez em pós-processamento.
• 🎯 Triplet loss para estruturar o espaço de incorporação e melhorar a discriminação entre real e falso.

Requisitos

pip install -r requirements.txt

Download dos Pesos do Modelo

Para usar o modelo, baixe o peso e salve-o na pasta weights.

Download Automático (Linha de Comando)

Execute o seguinte comando no seu terminal:

mkdir -p weights && wget -O weights/deeclip_weight_complete_with_lora_5.pth "https://www.dropbox.com/scl/fi/ttiqnbxu8atz4on5gqvgd/deeclip_weight_complete_with_lora_5.pth?rlkey=6xznuvriabkqfdcofhi1pbihu&st=fk02k7hf&dl=1"

Métodos de Detecção do Estado da Arte

• C2P-CLIP
• RINE
• FatFormer
• AntifakePrompt
• Bi-LORA

Avaliação

Para executar o teste em um conjunto de dados específico, use o seguinte comando:

python testing.py

Gráfico T-SNE da distribuição de características

Desempenho de Generalização dos Métodos Treinados no ProGAN

Os resultados mostram a acurácia (%) em subconjuntos de dados reais e sintéticos.

📖 Citação

se você fizer uso do nosso trabalho, por favor cite nosso artigo

@misc{keita2025deecliprobustgeneralizabletransformerbased,
      title={DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images}, 
      author={Mamadou Keita and Wassim Hamidouche and Hessen Bougueffa Eutamene and Abdelmalik Taleb-Ahmed and Abdenour Hadid},
      year={2025},
      eprint={2504.19876},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.19876}, 
}