🛡️ Veritensor: AI डेटा और आर्टिफैक्ट सुरक्षा

Veritensor AI आर्टिफैक्ट्स के लिए एंटी-वायरस और RAG पाइपलाइनों के लिए अंतिम फ़ायरवॉल है। यह उन आर्टिफैक्ट्स को स्कैन करके पूरी AI सप्लाई चेन को सुरक्षित करता है जिन्हें पारंपरिक SAST उपकरण अनदेखा कर देते हैं: मॉडल, डेटासेट, RAG दस्तावेज़ और नोटबुक।

Veritensor सुरक्षा को बाईं ओर स्थानांतरित करता है। आपके LLM पर प्रॉम्प्ट इंजेक्शन हिट होने की प्रतीक्षा करने के बजाय, Veritensor दुर्भावनापूर्ण दस्तावेज़ों, ज़हरीले डेटासेट और समझौता किए गए निर्भरताओं को इससे पहले कि वे आपके Vector DB या निष्पादन वातावरण में प्रवेश करें, रोकता और साफ करता है।

मानक SAST उपकरणों (जो कोड पर केंद्रित होते हैं) के विपरीत, Veritensor मशीन लर्निंग में उपयोग किए जाने वाले बाइनरी और सीरियलाइज़्ड प्रारूपों को समझता है:

1. मॉडल: RCE और बैकडोर को रोकने के लिए Pickle, PyTorch, Keras, Safetensors का गहन AST विश्लेषण।
2. डेटा और RAG: डेटा पॉइज़निंग, प्रॉम्प्ट इंजेक्शन और PII का पता लगाने के लिए Parquet, CSV, Excel, PDF का स्ट्रीमिंग स्कैन।
3. नोटबुक: लीक हुए सीक्रेट्स (एन्ट्रॉपी विश्लेषण का उपयोग करके), दुर्भावनापूर्ण मैजिक्स और XSS का पता लगाकर Jupyter (.ipynb) फ़ाइलों को सख्त बनाना।
4. सप्लाई चेन: टाइपोस्क्वाटिंग और ज्ञात CVE (OSV.dev के माध्यम से) के लिए निर्भरताओं (requirements.txt, poetry.lock) का ऑडिट।
5. एजेंटिक AI और MCP सर्वर: @mcp.tool() फ़ंक्शन में एजेंट अपहरण जोखिमों का पता लगाने के लिए Python फ़ाइलों का शुद्ध AST विश्लेषण। अत्यधिक विशेषाधिकृत अनुमतियों के लिए claude_desktop_config.json और mcp.json स्कैन करता है।
6. गवर्नेंस: क्रिप्टोग्राफ़िक डेटा मैनिफेस्ट (प्रोवेनेंस) उत्पन्न करता है और Sigstore के माध्यम से कंटेनरों पर हस्ताक्षर करता है।

---

🚀 विशेषताएँ

• नेटिव RAG सुरक्षा: रनटाइम पर खतरों को रोकने के लिए Veritensor को सीधे LangChain, LlamaIndex, ChromaDB और Unstructured.io में एम्बेड करें।
• हाई-परफॉर्मेंस समानांतर स्कैनिंग: मजबूत SQLite कैशिंग (WAL मोड) के साथ सभी CPU कोर का उपयोग करता है। यदि फ़ाइलें नहीं बदली हैं तो 100GB डेटासेट को फिर से स्कैन करने में मिलीसेकंड लगते हैं।
• उन्नत स्टील्थ डिटेक्शन: हैकर्स CSS (font-size: 0, color: white) और HTML टिप्पणियों का उपयोग करके प्रॉम्प्ट इंजेक्शन छिपाते हैं। Veritensor मानक पार्सर जो चूक जाते हैं उसे पकड़ने के लिए कच्चे बाइनरी स्ट्रीम को स्कैन करता है।
• डेटासेट सुरक्षा: Parquet, CSV, JSONL और Excel में "पॉइज़निंग" पैटर्न (जैसे, "Ignore previous instructions") और दुर्भावनापूर्ण URL खोजने के लिए विशाल डेटासेट (100GB+) को स्ट्रीम करता है।
• आर्काइव निरीक्षण: .zip, .tar.gz, .whl फ़ाइलों को डिस्क पर निकाले बिना सुरक्षित रूप से स्कैन करता है (Zip Bomb संरक्षित)।
• निर्भरता ऑडिट: दुर्भावनापूर्ण पैकेज (टाइपोस्क्वाटिंग) और कमजोरियों के लिए pyproject.toml, poetry.lock और Pipfile.lock की जाँच करता है।
• डेटा प्रोवेनेंस: कमांड veritensor manifest . अनुपालन (EU AI Act) के लिए आपके डेटा आर्टिफैक्ट्स का एक हस्ताक्षरित JSON स्नैपशॉट बनाता है।
• पहचान सत्यापन: Man-in-the-Middle हमलों का पता लगाने के लिए आधिकारिक Hugging Face रजिस्ट्री के विरुद्ध मॉडल हैश स्वचालित रूप से सत्यापित करता है।
• डी-ऑबफस्केशन इंजन: छिपे हुए पेलोड को उजागर करने के लिए Base64 स्ट्रिंग्स को स्वचालित रूप से पहचानता और डिकोड करता है (जैसे, SWdub3Jl... -> Ignore previous instructions)।
• मैजिक नंबर सत्यापन: सुरक्षित फ़ाइलों के रूप में प्रच्छन्न मैलवेयर का पता लगाता है (जैसे, एक .exe जिसे invoice.pdf का नाम दिया गया है)।
• स्मार्ट फ़िल्टरिंग और एन्ट्रॉपी विश्लेषण: Jupyter नोटबुक में गलत सकारात्मक (false positives) को नाटकीय रूप से कम करता है। सुरक्षित UUID और मानक इम्पोर्ट को अनदेखा करते हुए वास्तविक, अज्ञात API कुंजियाँ (WandB, Pinecone, Telegram) खोजने के लिए Shannon एन्ट्रॉपी का उपयोग करता है।
• CISO-तैयार HTML रिपोर्ट: --html फ़्लैग का उपयोग करके इंटरैक्टिव चार्ट और गंभीरता विवरण के साथ सुंदर, स्टैंडअलोन HTML सुरक्षा रिपोर्ट उत्पन्न करें।

---

📦 स्थापना

Veritensor मॉड्यूलर है। अपने वातावरण को हल्का रखने के लिए केवल वही स्थापित करें जिसकी आपको आवश्यकता है (~50MB कोर)।

विकल्प	कमांड	उपयोग केस
कोर	pip install veritensor	बेस स्कैनर (मॉडल, नोटबुक, निर्भरताएँ)
RAG	pip install "veritensor[rag]"	दस्तावेज़ (PDF, DOCX, PPTX)
PII	pip install "veritensor[pii]"	ML-आधारित PII डिटेक्शन (Presidio)
AWS	pip install "veritensor[aws]"	S3 बकेट से सीधे स्कैनिंग
सभी	pip install "veritensor[all]"	एंटरप्राइज़ सुरक्षा के लिए पूर्ण सुइट

Docker के माध्यम से (CI/CD के लिए अनुशंसित)

docker pull arseniibrazhnyk/veritensor:latest

---

⚡ त्वरित प्रारंभ

1. स्थानीय प्रोजेक्ट स्कैन करें (समानांतर)

4 CPU कोर का उपयोग करके सभी समर्थित खतरों के लिए एक निर्देशिका को पुनरावर्ती रूप से स्कैन करें:

veritensor scan ./my-rag-project --recursive --jobs 4

2. RAG दस्तावेज़ और Excel स्कैन करें

व्यावसायिक डेटा में प्रॉम्प्ट इंजेक्शन और फ़ॉर्मूला इंजेक्शन की जाँच करें:

veritensor scan ./finance_data.xlsx
veritensor scan ./docs/contract.pdf

3. डेटा मैनिफेस्ट उत्पन्न करें

अपने डेटासेट फ़ोल्डर का अनुपालन स्नैपशॉट बनाएं:

veritensor manifest ./data --output provenance.json

4. Policy-as-Code को कंट्रोल प्लेन के साथ सिंक करें

अपनी स्थानीय सुरक्षा सीमाओं को एंटरप्राइज़ सर्वर पर पुश करें:

veritensor scan . --sync-policy --api-key "vt_your_key"

5. AI डेटासेट स्कैन करें (बायस और पॉइज़निंग)

Veritensor विशाल फ़ाइलों को संभालने के लिए स्ट्रीमिंग का उपयोग करता है। गति के लिए यह डिफ़ॉल्ट रूप से 10k पंक्तियों का नमूना लेता है।

veritensor scan ./data/train.parquet --full-scan

6. मॉडल अखंडता सत्यापित करें

सुनिश्चित करें कि आपकी डिस्क पर फ़ाइल Hugging Face के आधिकारिक संस्करण से मेल खाती है (छेड़छाड़ का पता लगाता है):

veritensor scan ./pytorch_model.bin --repo meta-llama/Llama-2-7b

7. Amazon S3 से स्कैन करें

मैन्युअल डाउनलोडिंग के बिना रिमोट एसेट्स स्कैन करें:

veritensor scan s3://my-ml-bucket/models/llama-3.pkl

8. Hugging Face के विरुद्ध सत्यापित करें

सुनिश्चित करें कि आपकी डिस्क पर फ़ाइल रजिस्ट्री के आधिकारिक संस्करण से मेल खाती है (छेड़छाड़ का पता लगाता है):

veritensor scan ./pytorch_model.bin --repo meta-llama/Llama-2-7b

9. लाइसेंस अनुपालन जाँच

Veritensor safetensors और GGUF फ़ाइलों से मेटाडेटा स्वचालित रूप से पढ़ता है। यदि किसी मॉडल के पास गैर-व्यावसायिक लाइसेंस है (जैसे, cc-by-nc-4.0), तो यह उच्च गंभीरता अलर्ट उठाएगा।

इसे ओवरराइड करने के लिए (Break-glass मोड), उपयोग करें:

veritensor scan ./model.safetensors --force

10. AI डेटासेट स्कैन करें

Veritensor विशाल फ़ाइलों को संभालने के लिए स्ट्रीमिंग का उपयोग करता है। गति के लिए यह डिफ़ॉल्ट रूप से 10k पंक्तियों का नमूना लेता है।

veritensor scan ./data/train.parquet --full-scan

11. Jupyter नोटबुक स्कैन करें

खतरों के लिए कोड सेल, मार्कडाउन और सहेजे गए आउटपुट की जाँच करें:

veritensor scan ./research/experiment.ipynb