soildworks/agentic-clip-benchmarkАвтоматизированный высокоточный конвейер zero-shot оценки для модели CLIP от OpenAI на CIFAR-10. Особенности: точность 88.80%, устранение уязвимости безопасности Safetensors (CVE-2025-32434) и рабочий процесс AI Native (Trae).
-green.svg){kind=icon}
Этот проект реализует надёжный автоматизированный конвейер для оценки модели CLIP (ViT-B/32) от OpenAI на полном тестовом наборе CIFAR-10 (10 000 изображений). Разработан с использованием AI Native рабочего процесса (Trae IDE), достигает высокой точности zero-shot – 88.80%.
88.80% (Zero-Shot)openai/clip-vit-base-patch32 (с использованием Safetensors)
Анализ: Модель демонстрирует сильное диагональное преобладание. Статистическая путаница наблюдается между категориями 'Deer' и 'Horse' (15.4% перекрытия), вероятно, из-за схожих контуров скелета при сверхнизком разрешении 32x32 в CIFAR-10. Категории Automobile и Horse достигли наивысшей точности (97.6%).
CIFAR10Dataset для обработки сырых бинарных pickle-файлов, эффективно преобразующий одномерные байтовые массивы в трёхмерные RGB тензоры.torch.utils.data.DataLoader с tqdm для обработки 10 000 образцов без переполнения VRAM."a photo of a {label}" для оптимизации семантического выравнивания между текстовыми и изображенческими эмбеддингами.scikit-learn для вычисления матрицы ошибок, предоставляющей детальный взгляд на семантические ошибки классификации.В этом проекте задокументировано решение нескольких производственных проблем, возникших в ходе разработки:
.bin (Pickle).use_safetensors=True для безопасной загрузки модели с нулевым копированием.HF_HUB_DISABLE_SYMLINKS=1 и реализован протокол ручной очистки кэша для обеспечения кроссплатформенной совместимости.CLIPProcessor для правильной обработки сырых входных данных uint8, что успешно восстановило точность до 88.8%.HF_ENDPOINT и local_files_only=True для высокоскоростного развёртывания, работающего офлайн.pip install torch transformers pillow numpy tqdm scikit-learn seaborn matplotlib
Скачайте Python-версию CIFAR-10 и поместите папку cifar-10-batches-py в корень проекта.
# На Windows просто запустите предварительно настроенный пакетный файл:
.\run.bat
# Или вручную через Python:
python full_cifar_clip_eval.py
clip_eval_project/
├── full_cifar_clip_eval.py # Основной скрипт оценки
├── run.bat # Точка входа для запуска одним кликом
├── confusion_matrix.png # Результат матрицы ошибок
├── cifar-10-batches-py/ # Сырые данные CIFAR-10
│ └── test_batch # Данные тестового набора
└── README.md # Документация проекта
Этот проект лицензирован под лицензией MIT. Подробности см. в файле LICENSE.