microsoft/responsible-ai-toolboxजिम्मेदार AI मॉडल डिबगिंग के लिए इंटरैक्टिव डैशबोर्ड और लाइब्रेरी, जो त्रुटि विश्लेषण, निष्पक्षता, व्याख्यात्मकता, काउंटरफैक्चुअल, कारण विश्लेषण और डेटा संतुलन को कवर करते हैं।
जिम्मेदार AI (Responsible AI), AI प्रणालियों का सुरक्षित, भरोसेमंद और नैतिक तरीके से मूल्यांकन, विकास और परिनियोजन करने तथा जिम्मेदार निर्णय और कार्रवाई करने का एक दृष्टिकोण है।
Responsible AI Toolbox टूलों का एक सूट है जो मॉडल और डेटा अन्वेषण तथा मूल्यांकन के लिए यूज़र इंटरफ़ेस और लाइब्रेरीज़ का एक संग्रह प्रदान करता है, जिससे AI प्रणालियों की बेहतर समझ संभव होती है। ये इंटरफ़ेस और लाइब्रेरीज़ AI प्रणालियों के डेवलपर्स और हितधारकों को अधिक जिम्मेदारी से AI विकसित करने और निगरानी करने तथा बेहतर डेटा-संचालित कार्रवाई करने में सशक्त बनाते हैं।
टूलबॉक्स में तीन रिपॉजिटरी शामिल हैं:
Responsible AI डैशबोर्ड एक सिंगल पेन ऑफ ग्लास है, जो आपको मॉडल डिबगिंग और निर्णय लेने के विभिन्न चरणों से आसानी से गुजरने में सक्षम बनाता है। यह अनुकूलन योग्य अनुभव कई दिशाओं में ले जाया जा सकता है – मॉडल या डेटा का समग्र विश्लेषण करने से लेकर, रुचि के कोहॉर्ट्स पर गहन अध्ययन या तुलना करने, व्यक्तिगत उदाहरणों के लिए मॉडल भविष्यवाणियों की व्याख्या और परिवर्तन करने, तथा उपयोगकर्ताओं को व्यावसायिक निर्णयों और कार्यों के बारे में सूचित करने तक।
इन क्षमताओं को प्राप्त करने के लिए, डैशबोर्ड निम्नलिखित क्षेत्रों में कई ओपन-सोर्स टूलकिट्स के विचारों और तकनीकों को एकीकृत करता है:
Error Analysis Error Analysis द्वारा संचालित, जो समग्र बेंचमार्क की तुलना में उच्च त्रुटि दर वाले डेटा कोहॉर्ट्स की पहचान करता है। ये विसंगतियाँ तब हो सकती हैं जब सिस्टम या मॉडल विशिष्ट जनसांख्यिकीय समूहों या प्रशिक्षण डेटा में कम देखी जाने वाली इनपुट स्थितियों के लिए कम प्रदर्शन करता है।
Fairness Assessment Fairlearn द्वारा संचालित, जो पहचान करता है कि AI प्रणाली से किन लोगों के समूहों पर अनुपातहीन रूप से नकारात्मक प्रभाव पड़ सकता है और किन तरीकों से।
Model Interpretability InterpretML द्वारा संचालित, जो ब्लैकबॉक्स मॉडलों की व्याख्या करता है, जिससे उपयोगकर्ता अपने मॉडल के वैश्विक व्यवहार या व्यक्तिगत भविष्यवाणियों के पीछे के कारणों को समझ पाते हैं।
Counterfactual Analysis DiCE द्वारा संचालित, जो उसी डेटापॉइंट के फीचर-परिवर्तित (feature-perturbed) संस्करण दिखाता है जिन्हें अलग भविष्यवाणी परिणाम मिला होता, उदा., टेलर के ऋण को मॉडल ने अस्वीकार कर दिया है। लेकिन यदि उनकी आय $10,000 अधिक होती तो उन्हें ऋण मिल जाता।
Causal Analysis EconML द्वारा संचालित, जो डेटा-संचालित निर्णय लेने को लागू करने के लिए What If-शैली के प्रश्नों के उत्तर देने पर केंद्रित है – यदि कोई कंपनी नई मूल्य निर्धारण रणनीति अपनाती है तो राजस्व पर क्या प्रभाव पड़ेगा? क्या कोई नई दवा, अन्य सब कुछ समान रहने पर, रोगी की स्थिति में सुधार करेगी?
Data Balance Responsible AI द्वारा संचालित, जो उपयोगकर्ताओं को उनके डेटा की समग्र समझ हासिल करने, उन फीचर्स की पहचान करने में मदद करता है जिन्हें दूसरों की तुलना में अधिक सकारात्मक परिणाम मिलता है, और फीचर वितरण की कल्पना करने में सहायता करता है।
Responsible AI डैशबोर्ड निम्नलिखित लक्ष्यों को प्राप्त करने के लिए डिज़ाइन किया गया है:
इस रिपॉजिटरी में इस विजेट का उपयोग कैसे करें, यह दिखाने के लिए उदाहरणों वाले Jupyter नोटबुक शामिल हैं। यहाँ से आरंभ करें।
Responsible AI Toolbox इंस्टॉल करने के लिए निम्नलिखित pip कमांड का उपयोग करें।
यदि jupyter में चला रहे हैं, तो कृपया इंस्टॉल करने के बाद jupyter कर्नेल को पुनः आरंभ (restart) करना सुनिश्चित करें।
pip install raiwidgets
Responsible AI Toolbox की ताकत इसकी अनुकूलन क्षमता में निहित है। यह उपयोगकर्ताओं को उनकी विशिष्ट आवश्यकताओं को संबोधित करने वाले अनुरूपित, एंड-टू-एंड मॉडल डिबगिंग और निर्णय लेने के वर्कफ़्लो डिज़ाइन करने में सक्षम बनाता है। कुछ प्रेरणा चाहिए? यहाँ कुछ उदाहरण दिए गए हैं कि टूलबॉक्स घटकों को विभिन्न तरीकों से परिदृश्यों का विश्लेषण करने के लिए कैसे जोड़ा जा सकता है:
कृपया ध्यान दें कि मॉडल ओवरव्यू (फेयरनेस विश्लेषण सहित) और डेटा एक्सप्लोरर घटक डिफ़ॉल्ट रूप से सक्रिय हैं!
टैबुलर उदाहरण:
टेक्स्ट उदाहरण:
विज़न उदाहरण:
यह Responsible AI Toolbox API उन मॉडलों का समर्थन करता है जो Python numpy.ndarray, pandas.DataFrame, iml.datatypes.DenseData, या scipy.sparse.csr_matrix प्रारूप में डेटासेट पर प्रशिक्षित हैं।
Interpret-Community की व्याख्या फ़ंक्शन मॉडल और पाइपलाइन दोनों को इनपुट के रूप में स्वीकार करते हैं, जब तक कि मॉडल या पाइपलाइन Scikit कन्वेंशन के अनुरूप predict या predict_proba फ़ंक्शन लागू करता है। यदि संगत नहीं है, तो आप अपने मॉडल के भविष्यवाणी फ़ंक्शन को एक रैपर फ़ंक्शन में लपेट सकते हैं जो आउटपुट को समर्थित प्रारूप (Scikit के predict या predict_proba) में बदल देता है, और उस रैपर फ़ंक्शन को अपनी चुनी हुई इंटरप्रिटेबिलिटी तकनीकों को पास कर सकते हैं।
यदि कोई पाइपलाइन स्क्रिप्ट प्रदान की जाती है, तो व्याख्या फ़ंक्शन मान लेता है कि चल रही पाइपलाइन स्क्रिप्ट एक भविष्यवाणी लौटाती है। रिपॉजिटरी PyTorch, TensorFlow, और Keras डीप लर्निंग फ्रेमवर्क के माध्यम से प्रशिक्षित मॉडलों का भी समर्थन करती है।
Responsible AI Toolbox के टूल्स का उपयोग Azure Cognitive Services जैसे प्रदाताओं द्वारा API के रूप में पेश किए गए AI मॉडलों के साथ भी किया जा सकता है। उदाहरण उपयोग के मामलों को देखने के लिए, नीचे दिए गए फ़ोल्डर देखें:
| रिपॉजिटरी | कवर किए गए टूल |
|---|
| Responsible-AI-Toolbox रिपॉजिटरी (यहाँ) | इस रिपॉजिटरी में मॉडल मूल्यांकन और निर्णय लेने के लिए चार विज़ुअलाइज़ेशन विजेट शामिल हैं: 1. Responsible AI डैशबोर्ड, एक सिंगल पेन ऑफ ग्लास जो टूलबॉक्स के कई परिपक्व Responsible AI टूल्स को एक साथ लाकर मॉडलों का समग्र जिम्मेदार मूल्यांकन और डिबगिंग तथा सूचित व्यावसायिक निर्णय लेने में सक्षम बनाता है। इस डैशबोर्ड से आप मॉडल त्रुटियों की पहचान कर सकते हैं, निदान कर सकते हैं कि ये त्रुटियाँ क्यों हो रही हैं, और उन्हें कम कर सकते हैं। इसके अलावा, कारणात्मक निर्णय-निर्माण क्षमताएँ आपके हितधारकों और ग्राहकों को कार्रवाई योग्य अंतर्दृष्टि प्रदान करती हैं। 2. Error Analysis डैशबोर्ड, मॉडल त्रुटियों की पहचान करने और डेटा के उन कोहॉर्ट्स की खोज करने के लिए जिनके लिए मॉडल कम प्रदर्शन करता है। 3. Interpretability डैशबोर्ड, मॉडल भविष्यवाणियों को समझने के लिए। यह डैशबोर्ड InterpretML द्वारा संचालित है। 4. Fairness डैशबोर्ड, संवेदनशील फीचर्स और कोहॉर्ट्स में विभिन्न ग्रुप-फेयरनेस मेट्रिक्स का उपयोग करके मॉडल की निष्पक्षता संबंधी समस्याओं को समझने के लिए। यह डैशबोर्ड Fairlearn द्वारा संचालित है। |
| Responsible-AI-Toolbox-Mitigations रिपॉजिटरी | Responsible AI Mitigations लाइब्रेरी AI प्रैक्टिशनर्स को विभिन्न मापों और शमन (mitigation) चरणों का पता लगाने में मदद करती है, जो किसी दिए गए डेटा कोहॉर्ट के लिए मॉडल के कम प्रदर्शन करने पर सबसे उपयुक्त हो सकते हैं। लाइब्रेरी में वर्तमान में दो मॉड्यूल हैं: 1. DataProcessing, जो विशिष्ट कोहॉर्ट्स के लिए मॉडल प्रदर्शन बेहतर बनाने हेतु शमन तकनीकें प्रदान करता है। 2. DataBalanceAnalysis, जो क्लास लेबल या फीचर मानों पर डेटा असंतुलन से उत्पन्न त्रुटियों के निदान के लिए मेट्रिक्स प्रदान करता है। 3. Cohort: कोहॉर्ट्स को संभालने और प्रबंधित करने के लिए क्लासेस प्रदान करता है, जो प्रत्येक कोहॉर्ट के लिए आसान और सहज इंटरफ़ेस में कस्टम पाइपलाइन बनाने की अनुमति देता है। यह मॉड्यूल विभिन्न कोहॉर्ट्स के लिए अलग-अलग डिकपल्ड एस्टिमेटर (मॉडल) सीखने और उन्हें इस तरह संयोजित करने की तकनीकें भी प्रदान करता है जो ग्रुप फेयरनेस की विभिन्न परिभाषाओं को अनुकूलित करती हैं। |
| Responsible-AI-Tracker रिपॉजिटरी | Responsible AI Toolbox Tracker, मॉडल सुधार के लिए मशीन लर्निंग प्रयोगों के परिणामों को प्रबंधित करने, ट्रैक करने और तुलना करने हेतु एक JupyterLab एक्सटेंशन है। इस एक्सटेंशन का उपयोग करके, उपयोगकर्ता एक ही फ्रेमवर्क के भीतर मॉडल, कोड और विज़ुअलाइज़ेशन आर्टिफैक्ट देख सकते हैं, जिससे तेज़ मॉडल पुनरावृत्ति और मूल्यांकन प्रक्रियाएँ संभव होती हैं। मुख्य कार्यक्षमताओं में शामिल हैं: 1. मॉडल सुधार आर्टिफैक्ट्स का प्रबंधन और लिंकिंग 2. विघटित (disaggregated) मॉडल मूल्यांकन और तुलनाएँ 3. Responsible AI Mitigations लाइब्रेरी के साथ एकीकरण 4. mlflow के साथ एकीकरण |
| Responsible-AI-Toolbox-GenBit रिपॉजिटरी | Responsible AI Gender Bias (GenBit) लाइब्रेरी AI प्रैक्टिशनर्स को नेचुरल लैंग्वेज प्रोसेसिंग (NLP) डेटासेट में लैंगिक पूर्वाग्रह (gender bias) मापने में मदद करती है। GenBit का मुख्य लक्ष्य आपके टेक्स्ट कॉर्पोरा का विश्लेषण करना और ऐसे मेट्रिक्स की गणना करना है जो कॉर्पस में मौजूद लैंगिक पूर्वाग्रह के बारे में अंतर्दृष्टि प्रदान करते हैं। |
| Responsible AI डैशबोर्ड प्रवाह | उपयोग केस |
|---|
| Model Overview -> Error Analysis -> Data Explorer | मॉडल त्रुटियों की पहचान करने और अंतर्निहित डेटा वितरण को समझकर उनका निदान करने के लिए |
| Model Overview -> Fairness Assessment -> Data Explorer | मॉडल की निष्पक्षता संबंधी समस्याओं की पहचान करने और अंतर्निहित डेटा वितरण को समझकर उनका निदान करने के लिए |
| Model Overview -> Error Analysis -> Counterfactuals Analysis and What-If | काउंटरफैक्चुअल विश्लेषण के साथ व्यक्तिगत उदाहरणों में त्रुटियों का निदान करने के लिए (न्यूनतम परिवर्तन जो एक अलग मॉडल भविष्यवाणी की ओर ले जाए) |
| Model Overview -> Data Explorer -> Data Balance | डेटा असंतुलन या किसी विशेष डेटा कोहॉर्ट के प्रतिनिधित्व की कमी के कारण उत्पन्न त्रुटियों और निष्पक्षता संबंधी समस्याओं के मूल कारण को समझने के लिए |
| Model Overview -> Interpretability | यह समझकर मॉडल त्रुटियों का निदान करने के लिए कि मॉडल ने अपनी भविष्यवाणियाँ कैसे की हैं |
| Data Explorer -> Causal Inference | डेटा में सहसंबंधों और कारणों के बीच अंतर करने या सकारात्मक परिणाम देखने के लिए लागू किए जाने वाले सर्वोत्तम उपचारों का निर्णय करने के लिए |
| Interpretability -> Causal Inference | यह जानने के लिए कि मॉडल ने निर्णय लेने के लिए जिन कारकों का उपयोग किया है, उनका वास्तविक दुनिया के परिणाम पर कोई कारणात्मक प्रभाव है या नहीं। |
| Data Explorer -> Counterfactuals Analysis and What-If | ग्राहकों के उन सवालों का समाधान करने के लिए कि वे AI से अलग परिणाम पाने के लिए अगली बार क्या कर सकते हैं। |
| Data Explorer -> Data Balance | डेटा की समग्र समझ हासिल करने, उन फीचर्स की पहचान करने के लिए जिन्हें दूसरों की तुलना में अधिक सकारात्मक परिणाम मिलता है, और फीचर वितरण की कल्पना करने के लिए |