soildworks/agentic-clip-benchmarkUm pipeline automatizado de avaliação zero-shot de alta precisão para o modelo CLIP da OpenAI no CIFAR-10. Apresenta precisão de 88.80%, mitigação de segurança Safetensors (CVE-2025-32434) e fluxo de trabalho AI Native (Trae).
-green.svg){kind=icon}
Este projeto implementa um pipeline robusto e automatizado para avaliar o modelo CLIP (ViT-B/32) da OpenAI em todo o conjunto de teste CIFAR-10 (10.000 imagens). Desenvolvido usando um fluxo de trabalho AI Native (Trae IDE), ele alcança uma precisão zero-shot de alta qualidade de 88,80%.
88,80% (Zero-Shot)openai/clip-vit-base-patch32 (usando Safetensors)
Análise: O modelo apresenta forte dominância diagonal. Observa-se viés estatístico entre 'Deer' e 'Horse' (sobreposição de 15,4%), provavelmente devido aos contornos esqueléticos semelhantes na resolução ultrabaixa de 32x32 do CIFAR-10. As categorias Automobile e Horse alcançaram a maior precisão (97,6%).
CIFAR10Dataset personalizado para lidar com dados binários brutos em pickle, convertendo arrays 1D de bytes em tensores RGB 3D de forma eficiente.torch.utils.data.DataLoader com tqdm para gerenciar 10.000 amostras sem estouro de VRAM."a photo of a {label}" para otimizar o alinhamento semântico entre embeddings de texto e imagem.scikit-learn para calcular a matriz de confusão, fornecendo uma visão detalhada dos erros de classificação semântica.Este projeto documenta a resolução de diversos desafios de nível de produção encontrados durante o desenvolvimento:
.bin (Pickle) inseguros.use_safetensors=True para carregamento de modelo seguro e com zero cópias.HF_HUB_DISABLE_SYMLINKS=1 e estabelecido um protocolo manual de limpeza de cache para garantir compatibilidade entre plataformas.CLIPProcessor para lidar corretamente com entradas uint8 brutas, restaurando com sucesso a precisão para 88,8%.HF_ENDPOINT e local_files_only=True para implantação de alta velocidade e capaz de operar offline.pip install torch transformers pillow numpy tqdm scikit-learn seaborn matplotlib
Baixe a versão Python do CIFAR-10 e coloque a pasta cifar-10-batches-py na raiz do projeto.
# No Windows, basta executar o arquivo de lote pré-configurado:
.\run.bat
# Ou manualmente via Python:
python full_cifar_clip_eval.py
clip_eval_project/
├── full_cifar_clip_eval.py # Script principal de avaliação
├── run.bat # Entrada de execução com um clique
├── confusion_matrix.png # Resultado da matriz de confusão
├── cifar-10-batches-py/ # Dados brutos do CIFAR-10
│ └── test_batch # Dados do conjunto de teste
└── README.md # Documentação do projeto
Este projeto é licenciado sob a Licença MIT. Consulte o arquivo LICENSE para obter detalhes.