DeeCLIP: AI 생성 이미지 탐지를 위한 견고하고 일반화 가능한 Transformer 기반 프레임워크

☀️ 이 연구가 여러분의 연구에 유용하다면, 저희 저장소에 스타를 남겨주시고 논문을 인용해 주시기 바랍니다! ☀️

TODO

다음 항목을 열심히 작업 중입니다:

• ArXiv 논문 공개
• 학습 스크립트 공개
• 추론 스크립트 공개
• 체크포인트 공개

DeeCLIP

DeeCLIP은 CLIP-ViT와 **퓨전 학습(fusion learning)**을 결합한 AI 생성 이미지 탐지를 위한 새로운 프레임워크입니다. 생성 모델이 계속해서 개선됨에 따라, 일반화 성능이 낮고 일반적인 이미지 변조에 취약하기 때문에 합성 이미지 탐지는 더욱 어려워지고 있습니다. DeeCLIP은 견고하고 적응 가능한 아키텍처로 이러한 문제를 해결합니다.

🔍 개요

DeeCLIP은 다음을 통합하여 AI 생성 이미지 탐지를 향상시킵니다:

• ✅ CLIP-ViT를 통한 제로샷 학습(Zero-shot learning) - 모델 비의존적 일반화.
• 🧠 LoRA 기반 미세 조정 - 망각 없이 효율적으로 적응.
• 🔀 DeeFuser: 후처리 강건성을 위해 깊은 특징과 얕은 특징을 결합하는 커스텀 퓨전 모듈.
• 🎯 트리플렛 손실(Triplet loss) - 임베딩 공간을 구조화하고 실제 vs. 가짜 판별 성능을 개선.

요구사항

pip install -r requirements.txt

모델 가중치 다운로드

모델을 사용하려면 가중치를 다운로드하여 weights 폴더에 저장하세요.

자동 다운로드 (명령줄)

터미널에서 다음 명령을 실행하세요:

mkdir -p weights && wget -O weights/deeclip_weight_complete_with_lora_5.pth "https://www.dropbox.com/scl/fi/ttiqnbxu8atz4on5gqvgd/deeclip_weight_complete_with_lora_5.pth?rlkey=6xznuvriabkqfdcofhi1pbihu&st=fk02k7hf&dl=1"

SOTA 탐지 방법

• C2P-CLIP
• RINE
• FatFormer
• AntifakePrompt
• Bi-LORA

평가

특정 데이터셋에서 테스트를 실행하려면 다음 명령을 사용하세요:

python testing.py

특징 분포의 T-SNE 플롯

ProGAN으로 학습된 방법의 일반화 성능

결과는 실제 및 합성 데이터 하위 집합에 대한 정확도(%)를 보여줍니다.

📖 인용

저희 연구를 사용하신다면 논문을 인용해 주세요

@misc{keita2025deecliprobustgeneralizabletransformerbased,
      title={DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images}, 
      author={Mamadou Keita and Wassim Hamidouche and Hessen Bougueffa Eutamene and Abdelmalik Taleb-Ahmed and Abdenour Hadid},
      year={2025},
      eprint={2504.19876},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2504.19876}, 
}