soildworks/agentic-clip-benchmarkUna pipeline di valutazione zero-shot automatizzata e di alta precisione per il modello CLIP di OpenAI su CIFAR-10. Include accuratezza dell'88.80%, mitigazione di sicurezza Safetensors (CVE-2025-32434) e flusso di lavoro AI Native (Trae).
-green.svg){kind=icon}
Questo progetto implementa una pipeline robusta e automatizzata per valutare il modello CLIP (ViT-B/32) di OpenAI sull'intero set di test CIFAR-10 (10.000 immagini). Sviluppato utilizzando un flusso di lavoro AI Native (Trae IDE), raggiunge un'accuratezza zero-shot ad alta precisione del 88,80%.
88.80% (Zero-Shot)openai/clip-vit-base-patch32 (utilizzando Safetensors)
Analisi: Il modello mostra una forte dominanza diagonale. Si osserva un bias statistico tra 'Deer' e 'Horse' (sovrapposizione del 15,4%), probabilmente a causa di contorni scheletrici simili nella risoluzione ultra-bassa 32x32 di CIFAR-10. Le categorie Automobile e Horse hanno ottenuto la precisione più alta (97,6%).
CIFAR10Dataset personalizzato per gestire dati binari raw in formato pickle, convertendo array di byte 1D in tensori RGB 3D in modo efficiente.torch.utils.data.DataLoader con tqdm per gestire 10.000 campioni senza overflow di VRAM."a photo of a {label}" per ottimizzare l'allineamento semantico tra gli embedding del testo e delle immagini.scikit-learn per calcolare la matrice di confusione, fornendo una visione granulare degli errori di classificazione semantica.Questo progetto documenta la risoluzione di diverse sfide a livello di produzione incontrate durante lo sviluppo:
.bin (Pickle) non sicuri.use_safetensors=True per un caricamento del modello sicuro e a copia zero.HF_HUB_DISABLE_SYMLINKS=1 e stabilito un protocollo manuale di pulizia della cache per garantire la compatibilità cross-platform.CLIPProcessor per gestire correttamente gli input uint8 grezzi, ripristinando con successo l'accuratezza all'88,8%.HF_ENDPOINT e local_files_only=True per un deployment ad alta velocità e funzionamento offline.pip install torch transformers pillow numpy tqdm scikit-learn seaborn matplotlib
Scarica la versione Python di CIFAR-10 e posiziona la cartella cifar-10-batches-py nella root del progetto.
# On Windows, simply run the pre-configured batch file:
.\run.bat
# Or manually via Python:
python full_cifar_clip_eval.py
clip_eval_project/
├── full_cifar_clip_eval.py # Core evaluation script
├── run.bat # One-click run entry
├── confusion_matrix.png # Confusion matrix result
├── cifar-10-batches-py/ # CIFAR-10 raw data
│ └── test_batch # Test set data
└── README.md # Project documentation
Questo progetto è concesso in licenza sotto la MIT License. Vedi il file LICENSE per i dettagli.