DeeCLIP：检测 AI 生成图像的鲁棒且可泛化的 Transformer 框架

☀️ 如果您觉得这项工作对您的研究有帮助，请为我们的仓库点个 Star 并引用我们的论文！☀️

TODO

我们正在努力完成以下事项：

• 发布 ArXiv 论文
• 发布训练脚本
• 发布推理脚本
• 发布模型检查点

DeeCLIP

DeeCLIP 是一个用于检测 AI 生成图像的新颖框架，结合了 CLIP-ViT 与融合学习。随着生成模型的不断改进，由于泛化能力差且易受常见图像操作的影响，检测合成图像变得更具挑战性。DeeCLIP 通过鲁棒且适应性强的架构解决了这些问题。

---

🔍 概述

DeeCLIP 通过集成以下内容增强了 AI 生成图像的检测能力：

• ✅ 通过 CLIP-ViT 实现零样本学习，以获得与模型无关的泛化能力。
• 🧠 基于 LoRA 的微调，可在不遗忘的情况下高效适配。
• 🔀 DeeFuser：一个自定义融合模块，结合深层与浅层特征，以增强后处理鲁棒性。
• 🎯 三元组损失，用于结构化嵌入空间并提升真实 vs. 伪造图像的判别能力。

---

环境要求

pip install -r requirements.txt

下载模型权重

要使用该模型，请下载权重并将其保存在 weights 文件夹中。

自动下载（命令行）

在终端中运行以下命令：

mkdir -p weights && wget -O weights/deeclip_weight_complete_with_lora_5.pth "https://www.dropbox.com/scl/fi/ttiqnbxu8atz4on5gqvgd/deeclip_weight_complete_with_lora_5.pth?rlkey=6xznuvriabkqfdcofhi1pbihu&st=fk02k7hf&dl=1"

SOTA 检测方法

• C2P-CLIP
• RINE
• FatFormer
• AntifakePrompt
• Bi-LORA

评估

要在特定数据集上运行测试，请使用以下命令：

python testing.py

特征分布的 T-SNE 图

在 ProGAN 上训练的方法的泛化性能

结果显示了在真实与合成数据子集上的准确率（%）。

方法	训练集	#params	MS COCO	Flickr	ControlNet	Dall3	DiffusionDB	IF	LaMA	LTE	SD2Inpaint	SDXL	SGXL	SD3	mAcc
FatFormer	ProGAN	493M	33.97	34.04	28.27	32.07	28.10	27.95	28.67	12.37	22.63	31.97	22.23	35.91	28.18
RINE	ProGAN	434M	99.80	99.90	91.60	75.00	73.00	77.40	30.90	98.20	71.90	22.90	98.50	08.30	70.56
C2P-CLIP	ProGAN	304M	99.67	99.73	15.10	75.57	27.87	89.56	65.43	00.20	27.90	82.90	07.17	70.46	55.13
DecCLIP	ProGAN	306M	97.83	98.50	86.03	69.33	71.10	61.37	63.07	99.97	80.57	62.60	98.90	58.61	78.99

📖 引用

如果您使用了我们的工作，请引用我们的论文

@misc{keita2025deecliprobustgeneralizabletransformerbased,
      title={DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images}, 
      author={Mamadou Keita and Wassim Hamidouche and Hessen Bougueffa Eutamene and Abdelmalik Taleb-Ahmed and Abdenour Hadid},
      year={2025},
      eprint={2504.19876},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.19876}, 
}