AI Fairness 360 (AIF360)

AI Fairness 360 टूलकिट एक एक्स्टेंसिबल ओपन-सोर्स लाइब्रेरी है जिसमें शोध समुदाय द्वारा विकसित तकनीकें शामिल हैं, जो संपूर्ण AI अनुप्रयोग जीवनचक्र में मशीन लर्निंग मॉडल में पूर्वाग्रह का पता लगाने और उसे कम करने में मदद करती हैं। AI Fairness 360 पैकेज Python और R दोनों में उपलब्ध है।

AI Fairness 360 पैकेज में शामिल हैं

1. पूर्वाग्रहों की जाँच के लिए डेटासेट और मॉडल हेतु मेट्रिक्स का एक व्यापक सेट,
2. इन मेट्रिक्स के लिए स्पष्टीकरण, और
3. डेटासेट और मॉडल में पूर्वाग्रह को कम करने के लिए एल्गोरिदम। इसे एल्गोरिदमिक शोध को प्रयोगशाला से बाहर लाकर वित्त, मानव पूंजी प्रबंधन, स्वास्थ्य सेवा और शिक्षा जैसे व्यापक क्षेत्रों के वास्तविक व्यवहार में लागू करने के लिए डिज़ाइन किया गया है। हम आपको इसका उपयोग करने और इसे बेहतर बनाने के लिए आमंत्रित करते हैं।

AI Fairness 360 इंटरैक्टिव अनुभव अवधारणाओं और क्षमताओं का एक सरल परिचय प्रदान करता है। ट्यूटोरियल और अन्य नोटबुक एक गहरा, डेटा वैज्ञानिक-उन्मुख परिचय प्रदान करते हैं। संपूर्ण API भी उपलब्ध है।

क्षमताओं का एक व्यापक सेट होने के कारण, यह पता लगाना भ्रमित करने वाला हो सकता है कि किसी दिए गए उपयोग-मामले के लिए कौन से मेट्रिक्स और एल्गोरिदम सबसे उपयुक्त हैं। मदद के लिए, हमने कुछ मार्गदर्शन सामग्री बनाई है, जिससे परामर्श लिया जा सकता है।

हमने पैकेज को एक्स्टेंसिबिलिटी को ध्यान में रखते हुए विकसित किया है। यह लाइब्रेरी अभी भी विकासाधीन है। हम आपके मेट्रिक्स, एक्सप्लेनर और डीबायसिंग एल्गोरिदम के योगदान को प्रोत्साहित करते हैं।

Slack पर हमसे संपर्क करें (निमंत्रण यहाँ)!

समर्थित पूर्वाग्रह न्यूनीकरण एल्गोरिदम

• Optimized Preprocessing (Calmon et al., 2017)
• Disparate Impact Remover (Feldman et al., 2015)
• Equalized Odds Postprocessing (Hardt et al., 2016)
• Reweighing (Kamiran and Calders, 2012)
• Reject Option Classification (Kamiran et al., 2012)
• Prejudice Remover Regularizer (Kamishima et al., 2012)
• Calibrated Equalized Odds Postprocessing (Pleiss et al., 2017)
• Learning Fair Representations (Zemel et al., 2013)
• Adversarial Debiasing (Zhang et al., 2018)
• Meta-Algorithm for Fair Classification (Celis et al., 2018)
• Rich Subgroup Fairness (Kearns, Neel, Roth, Wu, 2018)
• Exponentiated Gradient Reduction (Agarwal et al., 2018)
• Grid Search Reduction (Agarwal et al., 2018, Agarwal et al., 2019)
• Fair Data Adaptation (Plečko and Meinshausen, 2020, Plečko et al., 2021)
• Sensitive Set Invariance/Sensitive Subspace Robustness (Yurochkin and Sun, 2020, Yurochkin et al., 2019)

समर्थित निष्पक्षता मेट्रिक्स

• चयन दरों और त्रुटि दरों से व्युत्पन्न समूह निष्पक्षता मेट्रिक्स का व्यापक सेट, जिसमें रिच सबग्रुप फेयरनेस शामिल है
• नमूना विकृति मेट्रिक्स का व्यापक सेट
• Generalized Entropy Index (Speicher et al., 2018)
• Differential Fairness and Bias Amplification (Foulds et al., 2018)
• Bias Scan with Multi-Dimensional Subset Scan (Zhang, Neill, 2017)

सेटअप

R

install.packages("aif360")

R सेटअप के बारे में अधिक जानकारी के लिए, कृपया निर्देश यहाँ देखें।

Python

समर्थित Python कॉन्फ़िगरेशन:

(वैकल्पिक) वर्चुअल वातावरण बनाएँ

AIF360 को कई Python पैकेजों के विशिष्ट संस्करणों की आवश्यकता होती है जो आपके सिस्टम पर अन्य परियोजनाओं के साथ टकराव कर सकते हैं। यह सुनिश्चित करने के लिए कि निर्भरताएँ सुरक्षित रूप से इंस्टॉल की जा सकें, वर्चुअल वातावरण प्रबंधक की दृढ़ता से अनुशंसा की जाती है। यदि आपको AIF360 इंस्टॉल करने में परेशानी होती है, तो पहले यह प्रयास करें।

Conda

Conda सभी कॉन्फ़िगरेशन के लिए अनुशंसित है, हालाँकि हमारे उद्देश्यों के लिए Virtualenv आम तौर पर विनिमेय है। यदि आपके पास पहले से conda इंस्टॉल नहीं है, तो Miniconda पर्याप्त है (Anaconda और Miniconda के बीच अंतर देखें, यदि आप उत्सुक हैं)।

फिर, एक नया Python 3.11 वातावरण बनाने के लिए, चलाएँ:

conda create --name aif360 python=3.11
conda activate aif360

शेल अब (aif360) $ जैसा दिखना चाहिए। वातावरण को निष्क्रिय करने के लिए, चलाएँ:

(aif360)$ conda deactivate

प्रॉम्प्ट $ पर वापस आ जाएगा।

pip के साथ इंस्टॉल करें

PyPI से नवीनतम स्थिर संस्करण इंस्टॉल करने के लिए, चलाएँ:

pip install aif360

नोट: कुछ एल्गोरिदम को अतिरिक्त निर्भरताओं की आवश्यकता होती है (हालाँकि सभी मेट्रिक्स बिना किसी अतिरिक्त सेटअप के काम करेंगे)। कुछ एल्गोरिदम निर्भरताओं के साथ इंस्टॉल करने के लिए, उदाहरण के लिए चलाएँ:

pip install 'aif360[LFR,OptimPreproc]'

या, संपूर्ण कार्यक्षमता के लिए, चलाएँ:

pip install 'aif360[all]'

उपलब्ध एक्स्ट्रा के विकल्प हैं: OptimPreproc, LFR, AdversarialDebiasing, DisparateImpactRemover, LIME, ART, Reductions, FairAdapt, inFairness, LawSchoolGPA, notebooks, tests, docs, all

यदि आपको कोई त्रुटि आती है, तो समस्या निवारण चरणों का प्रयास करें।

मैन्युअल इंस्टॉलेशन

इस रिपॉजिटरी का नवीनतम संस्करण क्लोन करें:

git clone https://github.com/Trusted-AI/AIF360

यदि आप उदाहरण चलाना चाहते हैं, तो डेटासेट अभी डाउनलोड करें और उन्हें aif360/data/README.md में वर्णित अनुसार उनके संबंधित फ़ोल्डरों में रखें।

फिर, परियोजना की रूट निर्देशिका पर जाएँ और चलाएँ:

pip install --editable '.[all]'

उदाहरण चलाएँ

उदाहरण नोटबुक चलाने के लिए, ऊपर दिए गए मैन्युअल इंस्टॉलेशन चरणों को पूरा करें। फिर, यदि आपने [all] विकल्प का उपयोग नहीं किया है, तो अतिरिक्त आवश्यकताओं को निम्नानुसार इंस्टॉल करें:

pip install -e '.[notebooks]'

अंत में, यदि आपने पहले से नहीं किया है, तो aif360/data/README.md में वर्णित अनुसार डेटासेट डाउनलोड करें।

समस्या निवारण

यदि इंस्टॉलेशन प्रक्रिया के दौरान आपको कोई त्रुटि आती है, तो अपनी समस्या यहाँ देखें और समाधान आज़माएँ।

TensorFlow

विस्तृत निर्देशों के लिए pip के साथ TensorFlow इंस्टॉल करें पृष्ठ देखें।

नोट: हमें 'tensorflow >= 1.13.1' की आवश्यकता है।

एक बार tensorflow इंस्टॉल हो जाने पर, पुनः चलाने का प्रयास करें:

pip install 'aif360[AdversarialDebiasing]'

TensorFlow केवल aif360.algorithms.inprocessing.AdversarialDebiasing क्लास के साथ उपयोग के लिए आवश्यक है।

CVXPY

MacOS पर, यदि आपने पहले कभी नहीं किया है, तो आपको पहले Xcode कमांड लाइन टूल्स इंस्टॉल करने पड़ सकते हैं:

xcode-select --install

Windows पर, आपको Microsoft C++ Build Tools for Visual Studio 2019 डाउनलोड करने की आवश्यकता हो सकती है। अद्यतन निर्देशों के लिए CVXPY इंस्टॉल पृष्ठ देखें।

फिर, इसके माध्यम से पुनः इंस्टॉल करने का प्रयास करें:

pip install 'aif360[OptimPreproc]'

CVXPY केवल aif360.algorithms.preprocessing.OptimPreproc क्लास के साथ उपयोग के लिए आवश्यक है।

AIF360 का उपयोग

examples निर्देशिका में jupyter नोटबुक्स का एक विविध संग्रह है जो AI Fairness 360 का विभिन्न तरीकों से उपयोग करते हैं। ट्यूटोरियल और डेमो दोनों AIF360 का उपयोग करने वाले कार्यशील कोड को दर्शाते हैं। ट्यूटोरियल अतिरिक्त चर्चा प्रदान करते हैं जो उपयोगकर्ता को नोटबुक के विभिन्न चरणों से गुज़ारते हैं। ट्यूटोरियल और डेमो का विवरण यहाँ देखें

AIF360 का उद्धरण

AI Fairness 360 का तकनीकी विवरण इस पेपर में उपलब्ध है। इस पेपर के लिए bibtex प्रविष्टि नीचे दी गई है।

@misc{aif360-oct-2018,
    title = "{AI Fairness} 360:  An Extensible Toolkit for Detecting, Understanding, and Mitigating Unwanted Algorithmic Bias",
    author = {Rachel K. E. Bellamy and Kuntal Dey and Michael Hind and
	Samuel C. Hoffman and Stephanie Houde and Kalapriya Kannan and
	Pranay Lohia and Jacquelyn Martino and Sameep Mehta and
	Aleksandra Mojsilovic and Seema Nagar and Karthikeyan Natesan Ramamurthy and
	John Richards and Diptikalyan Saha and Prasanna Sattigeri and
	Moninder Singh and Kush R. Varshney and Yunfeng Zhang},
    month = oct,
    year = {2018},
    url = {https://arxiv.org/abs/1810.01943}
}

AIF360 वीडियो

• कुश वार्ष्णेय द्वारा AI Fairness 360 का परिचयात्मक वीडियो, 20 सितंबर, 2018 (32 मिनट)

योगदान

Rich Subgroup Fairness (inprocessing/gerryfair_classifier.py) के लिए डेवलपमेंट फोर्क यहाँ है। योगदानों का स्वागत है, और लेखकों की ओर से संभावित योगदानों की सूची यहाँ पाई जा सकती है।