trusted-ai/aix360डेटा और मशीन लर्निंग मॉडल की व्याख्यात्मकता और स्पष्टीकरणीयता
✨नया: IBM Research के पास एक नया In-Context Explainability 360 (ICX360) टूलकिट है जो व्याख्या-क्षमता को LLMs तक विस्तारित करता है, विशेष रूप से LLM को दिए गए इनपुट के संदर्भ में। कृपया इसे देखें! 🚀✨
AI Explainability 360 टूलकिट एक ओपन-सोर्स लाइब्रेरी है जो डेटासेट और मशीन लर्निंग मॉडल की व्याख्या-क्षमता (interpretability) और स्पष्टीकरण-क्षमता (explainability) का समर्थन करती है। AI Explainability 360 Python पैकेज में एल्गोरिदम का एक व्यापक सेट शामिल है जो स्पष्टीकरण के विभिन्न आयामों के साथ-साथ प्रॉक्सी व्याख्या-क्षमता मेट्रिक्स को कवर करता है। AI Explainability 360 टूलकिट टेबुलर (tabular), टेक्स्ट, इमेज और टाइम सीरीज़ डेटा का समर्थन करता है।
AI Explainability 360 इंटरैक्टिव अनुभव विभिन्न उपभोक्ता पर्सनाज़ (personas) के लिए एक उदाहरण उपयोग-मामले के माध्यम से अवधारणाओं और क्षमताओं का एक सरल परिचय प्रदान करता है। ट्यूटोरियल और उदाहरण नोटबुक एक गहन, डेटा-वैज्ञानिक-उन्मुख परिचय प्रदान करते हैं। पूर्ण API भी उपलब्ध है।
व्याख्या-क्षमता के लिए कोई एक दृष्टिकोण नहीं है जो सबसे अच्छा काम करे। समझाने के कई तरीके हैं: डेटा बनाम मॉडल, सीधे व्याख्या योग्य बनाम पोस्ट-हॉक स्पष्टीकरण, स्थानीय बनाम वैश्विक, आदि। इसलिए यह पता लगाना भ्रमित करने वाला हो सकता है कि किसी दिए गए उपयोग-मामले के लिए कौन से एल्गोरिदम सबसे उपयुक्त हैं। मदद के लिए, हमने कुछ मार्गदर्शन सामग्री और एक वर्गीकरण वृक्ष (taxonomy tree) बनाया है, जिन्हें देखा जा सकता है।
हमने पैकेज को विस्तार-क्षमता (extensibility) को ध्यान में रखकर विकसित किया है। यह लाइब्रेरी अभी भी विकास के चरण में है। हम आपको प्रोत्साहित करते हैं कि आप अपने व्याख्या-क्षमता एल्गोरिदम, मेट्रिक्स और उपयोग-मामलों का योगदान करें। योगदानकर्ता के रूप में शुरू करने के लिए, कृपया यहाँ निमंत्रण का अनुरोध करके Slack पर AI Explainability 360 समुदाय से जुड़ें। कोड और python नोटबुक योगदान करने के निर्देश यहाँ देखें।
AI Explainability 360 को कई Python पैकेजों के विशिष्ट संस्करणों की आवश्यकता होती है जो आपके सिस्टम पर अन्य प्रोजेक्ट्स के साथ टकराव कर सकते हैं। यह सुनिश्चित करने के लिए कि निर्भरताएँ सुरक्षित रूप से स्थापित की जा सकें, वर्चुअल एनवायरनमेंट मैनेजर की दृढ़ता से अनुशंसा की जाती है। यदि आपको टूलकिट स्थापित करने में परेशानी हो रही है, तो पहले यह आज़माएँ।
सभी कॉन्फ़िगरेशन के लिए Conda की अनुशंसा की जाती है, हालाँकि हमारे उद्देश्यों के लिए Virtualenv आम तौर पर विनिमेय है। Miniconda पर्याप्त है (Anaconda और Miniconda के बीच अंतर देखें, यदि आप उत्सुक हैं) और यदि आपके पास पहले से नहीं है तो इसे यहाँ से स्थापित किया जा सकता है।
फिर, ऊपर दी गई तालिका देखकर, आप जिन व्याख्या-क्षमता एल्गोरिदम का उपयोग करना चाहते हैं, उनके आधार पर एक नया python एनवायरनमेंट बनाएं। उदाहरण के लिए, python 3.10 के लिए, निम्नलिखित कमांड का उपयोग करें:
conda create --name aix360 python=3.10
conda activate aix360
शेल अब (aix360) $ जैसा दिखना चाहिए। एनवायरनमेंट को निष्क्रिय करने के लिए, निम्नलिखित चलाएँ:
(aix360)$ conda deactivate
प्रॉम्प्ट वापस $ या (base)$ पर लौट आएगा।
नोट: conda के पुराने संस्करण source activate aix360 और source deactivate का उपयोग कर सकते हैं (Windows पर activate aix360 और deactivate)।
इस रिपॉजिटरी का नवीनतम संस्करण क्लोन करें:
(aix360)$ git clone https://github.com/Trusted-AI/AIX360
यदि आप उदाहरण और ट्यूटोरियल नोटबुक चलाना चाहते हैं, तो डेटासेट अभी डाउनलोड करें और उन्हें aix360/data/README.md में वर्णित अनुसार उनके संबंधित फ़ोल्डरों में रखें।
फिर, प्रोजेक्ट की रूट डायरेक्टरी पर जाएँ जिसमें setup.py फ़ाइल है और निम्नलिखित चलाएँ:
(aix360)$ pip install -e .[<algo1>,<algo2>, ...]
उपरोक्त कमांड विशिष्ट एल्गोरिदम के लिए आवश्यक पैकेज स्थापित करता है। यहाँ <algo> ऊपर दी गई तालिका में इंस्टॉलेशन कीवर्ड को संदर्भित करता है। उदाहरण के लिए, BRCG, DIPVAE, और TSICE एल्गोरिदम के लिए आवश्यक पैकेज स्थापित करने हेतु, कोई इसका उपयोग कर सकता है:
(aix360)$ pip install -e .[rbm,dipvae,tsice]
डिफ़ॉल्ट कमांड pip install . केवल डिफ़ॉल्ट निर्भरताएँ स्थापित करता है।
ध्यान दें कि आप एक ही एनवायरनमेंट में दो ऐसे एल्गोरिदम स्थापित नहीं कर पाएंगे, जिन्हें python के विभिन्न संस्करणों की आवश्यकता होती है (उदाहरण के लिए contrastive के साथ rbm)।
यदि आपको कोई समस्या आती है, तो उपरोक्त चरण को दोबारा आज़माने से पहले कृपया pip और setuptools को अपग्रेड करें और aix360 के किसी भी पिछले संस्करण को अनइंस्टॉल करें।
(aix360)$ pip install --upgrade pip setuptools
(aix360)$ pip uninstall aix360
यदि आप इस रिपॉजिटरी को स्पष्ट रूप से क्लोन किए बिना AI Explainability 360 टूलकिट का उपयोग जल्दी से शुरू करना चाहते हैं, तो आप इन विकल्पों में से एक का उपयोग कर सकते हैं:
(your environment)$ pip install -e git+https://github.com/Trusted-AI/AIX360.git#egg=aix360[<algo1>,<algo2>,...]
उदाहरण के लिए, BRCG, DIPVAE, और TSICE स्थापित करने के लिए pip install -e git+https://github.com/Trusted-AI/AIX360.git#egg=aix360[rbm,dipvae,tsice] का उपयोग करें। यदि आपके एनवायरनमेंट में cmake पहले से स्थापित नहीं है, तो आपको conda install cmake का उपयोग करके इसे स्थापित करने की आवश्यकता हो सकती है।
(your environment)$ pip install aix360
यदि आप इन दोनों विकल्पों में से किसी एक का पालन करते हैं, तो आपको examples फ़ोल्डर में उपलब्ध नोटबुक अलग से डाउनलोड करने होंगे।
AI Explainability 360 टूलकिट का Windows, MacOS, और Linux पर परीक्षण किया गया है। हालाँकि, यदि पैकेज निर्भरताओं के कारण आपको अभी भी इंस्टॉलेशन समस्याएँ आती हैं, तो कृपया संबंधित पैकेज को conda के माध्यम से स्थापित करने का प्रयास करें (जैसे conda install package-name) और फिर सामान्य चरणों का पालन करके टूलकिट स्थापित करें। उदाहरण के लिए, यदि इंस्टॉलेशन के दौरान pygraphviz से संबंधित समस्याएँ आती हैं, तो conda install pygraphviz का उपयोग करें और फिर टूलकिट स्थापित करें।
कृपया ऊपर दी गई तालिका के आधार पर सही python एनवायरनमेंट का उपयोग करें।
AIX360 डायरेक्टरी में Dockerfile से कंटेनर इमेज बनाने के लिए docker build -t aix360_docker . का उपयोग करेंdocker run -it -p 8888:8888 aix360_docker:latest bash का उपयोग करके कंटेनर इमेज प्रारंभ करेंjupyter lab --allow-root --ip 0.0.0.0 --port 8888 --no-browser का उपयोग करके jupuyter lab प्रारंभ करेंlocalhost:8888 का उपयोग करके अपनी मशीन पर नमूना ट्यूटोरियल एक्सेस करेंexamples डायरेक्टरी में jupyter नोटबुक का एक विविध संग्रह है जो AI Explainability 360 का विभिन्न तरीकों से उपयोग करता है। उदाहरण और ट्यूटोरियल दोनों नोटबुक टूलकिट का उपयोग करते हुए कार्यशील कोड दिखाते हैं। ट्यूटोरियल अतिरिक्त चर्चा प्रदान करते हैं जो उपयोगकर्ता को नोटबुक के विभिन्न चरणों से परिचित कराती है। ट्यूटोरियल और उदाहरणों के बारे में विवरण यहाँ देखें।
यदि आप अपने कार्य के लिए AI Explainability 360 का उपयोग कर रहे हैं, तो हम आपको प्रोत्साहित करते हैं कि
@misc{aix360-sept-2019,
title = "One Explanation Does Not Fit All: A Toolkit and Taxonomy of AI Explainability Techniques",
author = {Vijay Arya and Rachel K. E. Bellamy and Pin-Yu Chen and Amit Dhurandhar and Michael Hind
and Samuel C. Hoffman and Stephanie Houde and Q. Vera Liao and Ronny Luss and Aleksandra Mojsilovi\'c
and Sami Mourad and Pablo Pedemonte and Ramya Raghavendra and John Richards and Prasanna Sattigeri
and Karthikeyan Shanmugam and Moninder Singh and Kush R. Varshney and Dennis Wei and Yunfeng Zhang},
month = sept,
year = {2019},
url = {https://arxiv.org/abs/1909.03012}
}
इस रिपॉजिटरी पर एक स्टार दें।
AI Explainability 360 समुदाय में अपनी सफलता की कहानियाँ हमारे और अन्य लोगों के साथ साझा करें।
AIX360 कई ओपन-सोर्स पैकेजों की सहायता से बनाया गया है। ये सभी setup.py में सूचीबद्ध हैं और इनमें से कुछ निम्नलिखित हैं:
लाइसेंस जानकारी के लिए कृपया रूट डायरेक्टरी में मौजूद LICENSE फ़ाइल और अनुपूरक लाइसेंस फ़ोल्डर दोनों देखें।
| इंस्टॉलेशन कीवर्ड | एक्सप्लेनर(s) | OS | Python संस्करण |
|---|
| cofrnet | cofrnet | macOS, Ubuntu, Windows | 3.10 |
| contrastive | cem, cem_maf | macOS, Ubuntu, Windows | 3.7 |
| dipvae | dipvae | macOS, Ubuntu, Windows | 3.10 |
| gce | gce | macOS, Ubuntu, Windows | 3.10 |
| ecertify | ecertify | macOS, Ubuntu, Windows | 3.10 |
| imd | imd | macOS, Ubuntu | 3.10 |
| lime | lime | macOS, Ubuntu, Windows | 3.10 |
| matching | matching | macOS, Ubuntu, Windows | 3.10 |
| nncontrastive | nncontrastive | macOS, Ubuntu, Windows | 3.10 |
| profwt | profwt | macOS, Ubuntu, Windows | 3.6 |
| protodash | protodash | macOS, Ubuntu, Windows | 3.10 |
| rbm | brcg, glrm | macOS, Ubuntu, Windows | 3.10 |
| rule_induction | ripper | macOS, Ubuntu, Windows | 3.10 |
| shap | shap | macOS, Ubuntu, Windows | 3.6 |
| ted | ted | macOS, Ubuntu, Windows | 3.10 |
| tsice | tsice | macOS, Ubuntu, Windows | 3.10 |
| tslime | tslime | macOS, Ubuntu, Windows | 3.10 |
| tssaliency | tssaliency | macOS, Ubuntu, Windows | 3.10 |