soildworks/agentic-clip-benchmarkEine automatisierte, hochpräzise Zero-Shot-Evaluierungspipeline für das CLIP-Modell von OpenAI auf CIFAR-10. Bietet 88.80% Genauigkeit, Safetensors-Sicherheitsminderung (CVE-2025-32434) und AI Native (Trae)-Workflow.
-green.svg){kind=icon}
Dieses Projekt implementiert eine robuste, automatisierte Pipeline zur Auswertung des CLIP (ViT-B/32)-Modells von OpenAI auf dem vollständigen CIFAR-10-Testsatz (10.000 Bilder). Entwickelt mit einem AI Native Workflow (Trae IDE), erreicht es eine hochpräzise Zero-Shot-Genauigkeit von 88,80 %.
88,80 % (Zero-Shot)openai/clip-vit-base-patch32 (mit Safetensors)
Analyse: Das Modell zeigt eine starke Diagonaldominanz. Es wird ein statistischer Bias zwischen 'Deer' und 'Horse' beobachtet (15,4 % Überschneidung), wahrscheinlich aufgrund ähnlicher Skelettkonturen in der ultra-niedrigen 32x32-Auflösung von CIFAR-10. Die Kategorien Automobile und Horse erzielten die höchste Präzision (97,6 %).
CIFAR10Dataset zur Verarbeitung roher binärer Pickle-Daten, wobei 1D-Byte-Arrays effizient in 3D-RGB-Tensoren umgewandelt werden.torch.utils.data.DataLoader mit tqdm, um 10.000 Stichproben ohne VRAM-Überlauf zu verwalten."a photo of a {label}" zur Optimierung der semantischen Ausrichtung zwischen Text- und Bild-Embeddings.scikit-learn zur Berechnung der Konfusionsmatrix, die einen detaillierten Einblick in semantische Klassifikationsfehler bietet.Dieses Projekt dokumentiert die Lösung mehrerer produktionsnaher Herausforderungen, die während der Entwicklung auftraten:
.bin (Pickle)-Dateien.use_safetensors=True für nullkopierendes, sicheres Modellladen.HF_HUB_DISABLE_SYMLINKS=1 und Einrichtung eines manuellen Cache-Bereinigungsprotokolls für plattformübergreifende Kompatibilität.CLIPProcessor-Pipeline zur korrekten Verarbeitung roher uint8-Eingaben, wodurch die Genauigkeit wieder auf 88,8 % gebracht wurde.HF_ENDPOINT-Mirrors und local_files_only=True für schnelle, offline-fähige Bereitstellung.pip install torch transformers pillow numpy tqdm scikit-learn seaborn matplotlib
Laden Sie die Python-Version von CIFAR-10 herunter und platzieren Sie den Ordner cifar-10-batches-py im Projektverzeichnis.
# Unter Windows führen Sie einfach die vorkonfigurierte Batch-Datei aus:
.\run.bat
# Oder manuell über Python:
python full_cifar_clip_eval.py
clip_eval_project/
├── full_cifar_clip_eval.py # Kern-Auswertungsskript
├── run.bat # One-Click-Start-Eintrag
├── confusion_matrix.png # Konfusionsmatrix-Ergebnis
├── cifar-10-batches-py/ # CIFAR-10-Rohdaten
│ └── test_batch # Testsatz-Daten
└── README.md # Projektdokumentation
Dieses Projekt ist unter der MIT-Lizenz lizenziert. Weitere Informationen finden Sie in der Datei LICENSE.