Agentic-CLIP-Benchmark: CIFAR-10 पर जीरो-शॉट मूल्यांकन

यह प्रोजेक्ट संपूर्ण CIFAR-10 टेस्ट सेट (10,000 इमेज) पर OpenAI के CLIP (ViT-B/32) मॉडल के मूल्यांकन के लिए एक मजबूत, स्वचालित पाइपलाइन को लागू करता है। AI Native वर्कफ़्लो (Trae IDE) का उपयोग करके विकसित, यह 88.80% की उच्च-सटीक जीरो-शॉट सटीकता प्राप्त करता है।

📊 प्रदर्शन सारांश

• Top-1 सटीकता: 88.80% (जीरो-शॉट)
• मॉडल: openai/clip-vit-base-patch32 (Safetensors का उपयोग करते हुए)
• अनुमान हार्डवेयर: NVIDIA RTX 2060
• समय जटिलता: बैच अनुमान द्वारा अनुकूलित (बैच आकार: 32)

कन्फ्यूज़न मैट्रिक्स (सांख्यिकीय अंतर्दृष्टि)

विश्लेषण: मॉडल मजबूत विकर्ण प्रभुत्व दर्शाता है। 'Deer' और 'Horse' के बीच सांख्यिकीय पूर्वाग्रह (15.4% ओवरलैप) देखा गया, जो संभवतः CIFAR-10 के अति-निम्न 32x32 रिज़ॉल्यूशन में समान कंकालीय आकृति के कारण है। Automobile और Horse श्रेणियों ने उच्चतम प्रिसिजन (97.6%) प्राप्त किया।

🛠️ मुख्य विशेषताएं और पद्धति

• स्वचालित डेटा पाइपलाइन: कच्चे बाइनरी पिकल डेटा को संभालने के लिए एक कस्टम CIFAR10Dataset विकसित किया गया, जो 1D बाइट-एरे को कुशलतापूर्वक 3D RGB टेंसर में परिवर्तित करता है।
• बैच तर्क: VRAM ओवरफ्लो के बिना 10,000 नमूनों को प्रबंधित करने के लिए torch.utils.data.DataLoader को tqdm के साथ एकीकृत किया गया।
• प्रॉम्प्ट इंजीनियरिंग: टेक्स्ट और इमेज एम्बेडिंग के बीच सिमैंटिक संरेखण को अनुकूलित करने के लिए एक वर्णनात्मक टेम्पलेट "a photo of a {label}" का उपयोग किया गया।
• सटीकता मीट्रिक्स: सिमैंटिक वर्गीकरण त्रुटियों पर सूक्ष्म दृष्टि प्रदान करने के लिए कन्फ्यूज़न मैट्रिक्स की गणना हेतु scikit-learn को एकीकृत किया गया।

🛡️ युद्ध-कठोर इंजीनियरिंग (समस्या समाधान)

यह प्रोजेक्ट विकास के दौरान सामने आई कई उत्पादन-स्तरीय चुनौतियों के समाधान का दस्तावेजीकरण करता है:

1. सुरक्षा (CVE-2025-32434):
   • समस्या: PyTorch 2.6+ सुरक्षा प्रोटोकॉल असुरक्षित .bin (Pickle) फ़ाइलों को ब्लॉक करते हैं।
   • समाधान: जीरो-कॉपी, सुरक्षित मॉडल लोडिंग के लिए use_safetensors=True के माध्यम से Safetensors प्रारूप लागू किया गया।
2. पर्यावरण मजबूती (WinError 14007):
   • समस्या: Windows गैर-एडमिन खातों में Hugging Face कैश के लिए Symlink अनुमतियों का अभाव है।
   • समाधान: HF_HUB_DISABLE_SYMLINKS=1 लागू किया गया और क्रॉस-प्लेटफॉर्म संगतता सुनिश्चित करने के लिए एक मैनुअल कैश क्लीनअप प्रोटोकॉल स्थापित किया गया।
3. प्रीप्रोसेसिंग संरेखण:
   • समस्या: अनावश्यक इमेज रीस्केलिंग (uint8 बनाम फ्लोट नॉर्मलाइज़ेशन) के कारण 0.06 सटीकता विफलता की पहचान की गई।
   • समाधान: कच्चे uint8 इनपुट को सही ढंग से संभालने के लिए CLIPProcessor पाइपलाइन को पुनः इंजीनियर किया गया, सफलतापूर्वक सटीकता को 88.8% पर बहाल किया गया।
4. नेटवर्क अनुकूलन:
   • समस्या: स्थानीय नेटवर्क बाधाओं के तहत Hugging Face Hub तक पहुंच प्रतिबंधित।
   • समाधान: हाई-स्पीड, ऑफ़लाइन-सक्षम तैनाती के लिए HF_ENDPOINT मिरर और local_files_only=True कॉन्फ़िगर किया गया।

🚀 आरंभ करना

1. स्थापना

pip install torch transformers pillow numpy tqdm scikit-learn seaborn matplotlib

2. डेटासेट सेटअप

CIFAR-10 Python संस्करण डाउनलोड करें और cifar-10-batches-py फ़ोल्डर को प्रोजेक्ट रूट में रखें।

3. मूल्यांकन चलाएं

# Windows पर, पूर्व-कॉन्फ़िगर बैच फ़ाइल चलाएं:
.\run.bat

# या Python के माध्यम से मैन्युअल रूप से:
python full_cifar_clip_eval.py

📁 प्रोजेक्ट संरचना

clip_eval_project/
├── full_cifar_clip_eval.py  # Core evaluation script
├── run.bat                  # One-click run entry
├── confusion_matrix.png     # Confusion matrix result
├── cifar-10-batches-py/     # CIFAR-10 raw data
│   └── test_batch          # Test set data
└── README.md               # Project documentation

📄 लाइसेंस

यह प्रोजेक्ट MIT लाइसेंस के तहत लाइसेंस प्राप्त है। विवरण के लिए LICENSE फ़ाइल देखें।

🙏 आभार

• CLIP मॉडल विकसित करने के लिए OpenAI
• CIFAR-10 डेटासेट निर्माता
• Transformers लाइब्रेरी के लिए Hugging Face
• डीप लर्निंग फ्रेमवर्क के लिए PyTorch टीम