DeeCLIP: AI生成画像を検出するための堅牢で汎化可能なTransformerベースのフレームワーク

☀️ 本研究がお役に立つ場合は、ぜひリポジトリにスターを付け、論文を引用してください！ ☀️

TODO

以下の項目に取り組んでいます：

• ArXiv論文を公開
• 学習スクリプトを公開
• 推論スクリプトを公開
• チェックポイントを公開

DeeCLIP

DeeCLIP は、CLIP-ViT と 融合学習 を組み合わせた、AI生成画像の検出 のための新しいフレームワークです。生成モデルが進化し続けるにつれて、合成画像の検出は、汎化性能の低さや一般的な画像操作に対する脆弱性のため、ますます困難になっています。DeeCLIP は、堅牢で適応性のあるアーキテクチャによってこれらの課題に取り組みます。

🔍 概要

DeeCLIP は、以下を統合することで AI生成画像の検出を強化します：

• ✅ モデル非依存の汎化を実現する CLIP-ViT による ゼロショット学習
• 🧠 忘却することなく効率的に適応する LoRAベースのファインチューニング
• 🔀 DeeFuser: 後処理に対する堅牢性を高めるために深層特徴と浅層特徴を組み合わせるカスタム融合モジュール
• 🎯 埋め込み空間を構造化し、本物と偽物の識別を向上させる トリプレット損失

必要条件

pip install -r requirements.txt

モデル重みのダウンロード

モデルを使用するには、重みをダウンロードして weights フォルダに保存してください。

自動ダウンロード（コマンドライン）

ターミナルで以下のコマンドを実行してください：

mkdir -p weights && wget -O weights/deeclip_weight_complete_with_lora_5.pth "https://www.dropbox.com/scl/fi/ttiqnbxu8atz4on5gqvgd/deeclip_weight_complete_with_lora_5.pth?rlkey=6xznuvriabkqfdcofhi1pbihu&st=fk02k7hf&dl=1"

SOTA検出手法

• C2P-CLIP
• RINE
• FatFormer
• AntifakePrompt
• Bi-LORA

評価

特定のデータセットでテストを実行するには、次のコマンドを使用します：

python testing.py

特徴分布のT-SNEプロット

ProGANで学習した手法の汎化性能

結果は、実データおよび合成データのサブセットにおける精度（%）を示しています。

📖 引用

本研究を利用する場合は、論文を引用してください。

@misc{keita2025deecliprobustgeneralizabletransformerbased,
      title={DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images}, 
      author={Mamadou Keita and Wassim Hamidouche and Hessen Bougueffa Eutamene and Abdelmalik Taleb-Ahmed and Abdenour Hadid},
      year={2025},
      eprint={2504.19876},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.19876}, 
}