
AI मॉडलों के सुरक्षा-संबंधी मेटाडेटा के दस्तावेज़ीकरण के लिए खुला मानक, जिसमें प्रशिक्षण डेटा की उत्पत्ति, PII जोखिम, ज्ञात कमज़ोरियाँ और आपूर्ति श्रृंखला विवरण शामिल हैं।
<<<<<<< HEAD
स्थिति: ड्राफ़्ट — इनक्यूबेटिंग OWASP प्रोजेक्ट
यह मानक सक्रिय विकास के अधीन है। योगदान और प्रतिक्रिया का स्वागत है।
जब आप HuggingFace या किसी अन्य रिपॉज़िटरी से प्री-ट्रेंड मॉडल डाउनलोड करते हैं, तो आप मूल रूप से एक ब्लैक बॉक्स पर भरोसा कर रहे होते हैं। आप नहीं जानते कि उसे किस डेटा पर प्रशिक्षित किया गया, क्या उस डेटा में व्यक्तिगत जानकारी थी, एडवर्सेरियल हमलों के लिए उसका परीक्षण कैसे किया गया, या उसके ज्ञात विफलता मोड क्या हैं। अधिकांश शौकिया प्रोजेक्ट्स के लिए यह ठीक है। वास्तविक उपयोगकर्ताओं, विनियमित उद्योगों, या संवेदनशील डेटा से जुड़ी किसी भी चीज़ के लिए — यह वास्तव में ठीक नहीं है।
मॉडल कार्ड कुछ समय से मौजूद हैं, और वे एक अच्छा विचार हैं। लेकिन मौजूदा प्रारूप लगभग पूरी तरह से प्रदर्शन मेट्रिक्स और निष्पक्षता संबंधी विचारों पर केंद्रित हैं। सुरक्षा अधिकांशतः एक गौण विचार मात्र है, अगर है भी तो।
यह प्रोजेक्ट यही ठीक करने की कोशिश कर रहा है। हम एक खुला मानक बना रहे हैं जो परिभाषित करता है कि मॉडल कार्ड में सुरक्षा से संबंधित कौन सी जानकारी होनी चाहिए — जैसे प्रशिक्षण डेटा की उत्पत्ति, PII जोखिम की संभावना, ज्ञात कमज़ोरियाँ, सप्लाई चेन विवरण, और विनियामक अनुपालन स्थिति। ऐसी चीज़ जिसे एक सुरक्षा टीम वास्तव में उपयोग कर सके जब यह आकलन किया जाए कि मॉडल तैनात करना सुरक्षित है या नहीं।
कुछ चीज़ें एक साथ आ गई हैं:
एक सुरक्षा-केंद्रित मॉडल कार्ड मानक डेवलपर्स, ऑडिटरों और प्रोक्योरमेंट टीमों को एक साझा भाषा और एक चेकलिस्ट देता है जिस पर वे वास्तव में कार्रवाई कर सकते हैं।
इस मानक के अंतर्गत एक सुरक्षा-केंद्रित मॉडल कार्ड कैसा दिखता है, इसका एक अंदाज़ यहाँ है:
model_card_version: "0.1"
model_name: "example-text-classifier"
model_version: "1.2.0"
training_data:
sources:
- name: "Common Crawl (filtered)"
pii_assessment: "Presidio scan applied; residual risk: low"
license: "CC0"
pii_removal_method: "Microsoft Presidio + manual review on 5% sample"
data_cutoff_date: "2024-01-01"
security:
known_vulnerabilities: []
adversarial_testing: "Red-teamed against prompt injection; results in /security/redteam-report.md"
supply_chain:
base_model: "bert-base-uncased"
base_model_source: "https://huggingface.co/bert-base-uncased"
compliance:
eu_ai_act_risk_tier: "Limited"
gdpr_considerations: "No personal data retained post-training"
यह एक सरलीकृत अंश है। पूर्ण स्कीमा घटना इतिहास, आउटपुट फ़िल्टरिंग, तैनाती बाधाओं, और अधिक के लिए अतिरिक्त फ़ील्ड्स को कवर करती है।
/
├── README.md ← you are here
├── standard/
│ └── OWASP-Modelcard-Standard-Proposal.md ← the specification
├── templates/
│ └── model-card-template.md ← blank template to copy and fill in
├── examples/
│ └── llm-example.md ← worked example for a large language model
├── schema/
│ └── model-card-schema.json ← machine-readable JSON schema
├── mappings/
│ └── owasp-nist-euaiact-mapping.md ← how this standard relates to other frameworks
├── CONTRIBUTING.md ← how to get involved
├── CHANGELOG.md
└── LICENSE ← CC BY 4.0
यह मानक मौजूदा कार्य को बदलने के लिए नहीं, बल्कि उसका पूरक बनने के लिए डिज़ाइन किया गया है:
यह एक प्रारंभिक चरण का प्रोजेक्ट है और इसे किस दिशा में ले जाना है, इसके लिए काफी गुंजाइश है। योगदान देने के कुछ तरीके:
#ai-ml-security में चर्चा में शामिल होंयदि आप निश्चित नहीं हैं कि कहाँ से शुरू करें, तो good first issue लेबल वाले खुले मुद्दे देखने के लिए एक उचित स्थान हैं।
यह प्रोजेक्ट वर्तमान में OWASP नई प्रोजेक्ट प्रक्रिया से गुज़र रहा है। स्वीकृत होने पर यह github.com/OWASP/owasp-model-card-security-standard पर OWASP GitHub संगठन में स्थानांतरित हो जाएगा।
यह मानक Creative Commons Attribution 4.0 International (CC BY 4.0) के अंतर्गत प्रकाशित है। आप इसे उपयोग, अनुकूलित और पुनर्वितरित करने के लिए स्वतंत्र हैं — वाणिज्यिक रूप से भी — बशर्ते आप उचित श्रेय दें।
owasp/main
| Framework | Relationship |
|---|
| OWASP Top 10 for LLM Applications | यह मानक कई LLM Top 10 जोखिमों के शमन का दस्तावेज़ीकरण करने में मदद करता है |
| OWASP AI Exchange | AI सुरक्षा मार्गदर्शन के अनुरूप; प्रासंगिक स्थानों पर क्रॉस-रेफ़रेंस किया गया |
| NIST AI Risk Management Framework | इस मानक के फ़ील्ड्स AI RMF के govern, map, measure और manage कार्यों से मेल खाते हैं |
| EU AI Act | सीमित और उच्च-जोखिम वाले AI सिस्टम के लिए पारदर्शिता और दस्तावेज़ीकरण दायित्वों को कवर करता है |
| HuggingFace Model Cards | HuggingFace प्रारूप को सुरक्षा-विशिष्ट फ़ील्ड्स के साथ विस्तारित करता है |
| Google Model Cards | Google के दृष्टिकोण के अनुकूल; शीर्ष पर सुरक्षा परत जोड़ता है |