العدالة في الذكاء الاصطناعي 360 (AIF360)

أداة AI Fairness 360 هي مكتبة مفتوحة المصدر وقابلة للتوسع، وتحتوي على تقنيات طوّرها المجتمع البحثي للمساعدة في اكتشاف التحيز في نماذج التعلم الآلي وتخفيفه طوال دورة حياة تطبيقات الذكاء الاصطناعي. تتوفر حزمة AI Fairness 360 بلغتي Python وR.

تتضمن حزمة AI Fairness 360:

1. مجموعة شاملة من المقاييس لمجموعات البيانات والنماذج لاختبار التحيزات،
2. شروحات لهذه المقاييس، و
3. خوارزميات للتخفيف من التحيز في مجموعات البيانات والنماذج. صُممت لنقل الأبحاث الخوارزمية من المختبر إلى الممارسة الفعلية في مجالات متنوعة مثل المالية، وإدارة رأس المال البشري، والرعاية الصحية، والتعليم. ندعوك لاستخدامها وتحسينها.

توفر التجربة التفاعلية لـ AI Fairness 360 مقدمة لطيفة للمفاهيم والإمكانات. وتقدم الدروس التعليمية والدفاتر الأخرى مقدمة أعمق موجهة لعلماء البيانات. كما تتوفر واجهة البرمجة الكاملة (API).

ونظرًا لكونها مجموعة شاملة من الإمكانات، فقد يكون من المربك تحديد المقاييس والخوارزميات الأكثر ملاءمة لحالة استخدام معينة. ولمساعدتك، أنشأنا بعض المواد الإرشادية التي يمكن الرجوع إليها.

لقد طوّرنا الحزمة مع مراعاة قابلية التوسع. لا تزال هذه المكتبة قيد التطوير. نحن نشجع على المساهمة بمقاييسك وأدوات الشرح وخوارزميات إزالة التحيز.

تواصل معنا عبر Slack (الدعوة هنا)!

خوارزميات تخفيف التحيز المدعومة

• المعالجة المسبقة المحسّنة (Calmon et al., 2017)
• مزيل الأثر المتباين (Feldman et al., 2015)
• المعالجة اللاحقة للاحتمالات المتعادلة (Hardt et al., 2016)
• إعادة الوزن (Kamiran and Calders, 2012)
• تصنيف خيار الرفض (Kamiran et al., 2012)
• منظّم إزالة التحيز المسبق (Kamishima et al., 2012)
• المعالجة اللاحقة للاحتمالات المتعادلة المعايرة (Pleiss et al., 2017)
• تعلم التمثيلات العادلة (Zemel et al., 2013)
• إزالة التحيز العدائية (Zhang et al., 2018)
• الخوارزمية الفوقية للتصنيف العادل (Celis et al., 2018)
• عدالة المجموعات الفرعية الغنية (Kearns, Neel, Roth, Wu, 2018)
• اختزال التدرج الأسي (Agarwal et al., 2018)
• اختزال البحث الشبكي (Agarwal et al., 2018, Agarwal et al., 2019)
• تكييف البيانات العادل (Plečko and Meinshausen, 2020, Plečko et al., 2021)
• ثبات المجموعات الحساسة / متانة الفضاء الجزئي الحساس (Yurochkin and Sun, 2020, Yurochkin et al., 2019)

مقاييس العدالة المدعومة

• مجموعة شاملة من مقاييس عدالة المجموعات المشتقة من معدلات الاختيار ومعدلات الخطأ بما في ذلك عدالة المجموعات الفرعية الغنية
• مجموعة شاملة من مقاييس تشوه العينات
• مؤشر الانتروبيا المعمم (Speicher et al., 2018)
• العدالة التفاضلية وتضخيم التحيز (Foulds et al., 2018)
• فحص التحيز باستخدام فحص المجموعات الفرعية متعدد الأبعاد (Zhang, Neill, 2017)

الإعداد

R

install.packages("aif360")

لمزيد من التفاصيل حول إعداد R، يرجى الرجوع إلى التعليمات هنا.

Python

تكوينات Python المدعومة:

(اختياري) إنشاء بيئة افتراضية

تتطلب AIF360 إصدارات محددة من العديد من حزم Python وقد تتعارض مع مشاريع أخرى على نظامك. يُنصح بشدة باستخدام مدير بيئة افتراضية لضمان إمكانية تثبيت التبعيات بأمان. إذا واجهت مشكلة في تثبيت AIF360، فجرّب هذا أولاً.

Conda

تُنصح باستخدام Conda لجميع التكوينات، على الرغم من أن Virtualenv قابل للتبادل عمومًا لأغراضنا. Miniconda كافٍ (انظر الفرق بين Anaconda و Miniconda إذا كنت مهتمًا) إذا لم يكن conda مثبتًا لديك بالفعل.

ثم، لإنشاء بيئة Python 3.11 جديدة، شغّل:

conda create --name aif360 python=3.11
conda activate aif360

يجب أن تبدو الصدفة الآن كالتالي (aif360) $. لإلغاء تنشيط البيئة، شغّل:

(aif360)$ conda deactivate

سيعود الموجه إلى $ .

التثبيت باستخدام pip

لتثبيت أحدث إصدار مستقر من PyPI، شغّل:

pip install aif360

ملاحظة: تتطلب بعض الخوارزميات تبعيات إضافية (على الرغم من أن جميع المقاييس ستعمل دون أي إعداد إضافي). لتثبيت الحزمة مع تضمين تبعيات خوارزمية معينة، شغّل على سبيل المثال:

pip install 'aif360[LFR,OptimPreproc]'

أو، للحصول على وظائف كاملة، شغّل:

pip install 'aif360[all]'

الخيارات المتاحة للإضافات هي: OptimPreproc, LFR, AdversarialDebiasing, DisparateImpactRemover, LIME, ART, Reductions, FairAdapt, inFairness, LawSchoolGPA, notebooks, tests, docs, all

إذا واجهت أي أخطاء، جرّب خطوات استكشاف الأخطاء وإصلاحها.

التثبيت اليدوي

استنسخ أحدث إصدار من هذا المستودع:

git clone https://github.com/Trusted-AI/AIF360

إذا كنت ترغب في تشغيل الأمثلة، فقم بتنزيل مجموعات البيانات الآن وضعها في المجلدات الخاصة بها كما هو موضح في aif360/data/README.md.

ثم انتقل إلى الدليل الجذر للمشروع وشغّل:

pip install --editable '.[all]'

تشغيل الأمثلة

لتشغيل دفاتر الملاحظات الخاصة بالأمثلة، أكمل خطوات التثبيت اليدوي أعلاه. ثم، إذا لم تستخدم خيار [all]، فقم بتثبيت المتطلبات الإضافية كما يلي:

pip install -e '.[notebooks]'

أخيرًا، إذا لم تكن قد قمت بذلك بالفعل، فقم بتنزيل مجموعات البيانات كما هو موضح في aif360/data/README.md.

استكشاف الأخطاء وإصلاحها

إذا واجهت أي أخطاء أثناء عملية التثبيت، فابحث عن مشكلتك هنا وجرّب الحلول.

TensorFlow

راجع صفحة تثبيت TensorFlow باستخدام pip للحصول على تعليمات مفصلة.

ملاحظة: نحن نطلب 'tensorflow >= 1.13.1'.

بمجرد تثبيت tensorflow، حاول إعادة التشغيل:

pip install 'aif360[AdversarialDebiasing]'

TensorFlow مطلوب فقط للاستخدام مع الفئة aif360.algorithms.inprocessing.AdversarialDebiasing.

CVXPY

على MacOS، قد تحتاج أولاً إلى تثبيت أدوات سطر الأوامر الخاصة بـ Xcode إذا لم تكن مثبتة لديك من قبل:

xcode-select --install

على Windows، قد تحتاج إلى تنزيل أدوات بناء Microsoft C++ لـ Visual Studio 2019. راجع صفحة تثبيت CVXPY للحصول على تعليمات محدّثة.

ثم حاول إعادة التثبيت عبر:

pip install 'aif360[OptimPreproc]'

CVXPY مطلوب فقط للاستخدام مع الفئة aif360.algorithms.preprocessing.OptimPreproc.

استخدام AIF360

يحتوي دليل examples على مجموعة متنوعة من دفاتر Jupyter التي تستخدم AI Fairness 360 بطرق مختلفة. توضح كل من الدروس التعليمية والعروض التوضيحية أكوادًا عملية باستخدام AIF360. تقدم الدروس التعليمية نقاشًا إضافيًا يرشد المستخدم عبر الخطوات المختلفة للدفتر. اطلع على التفاصيل حول الدروس التعليمية والعروض التوضيحية هنا

الاستشهاد بـ AIF360

يتوفر وصف تقني لـ AI Fairness 360 في هذه الورقة. فيما يلي إدخال bibtex لهذه الورقة.

@misc{aif360-oct-2018,
    title = "{AI Fairness} 360:  An Extensible Toolkit for Detecting, Understanding, and Mitigating Unwanted Algorithmic Bias",
    author = {Rachel K. E. Bellamy and Kuntal Dey and Michael Hind and
	Samuel C. Hoffman and Stephanie Houde and Kalapriya Kannan and
	Pranay Lohia and Jacquelyn Martino and Sameep Mehta and
	Aleksandra Mojsilovic and Seema Nagar and Karthikeyan Natesan Ramamurthy and
	John Richards and Diptikalyan Saha and Prasanna Sattigeri and
	Moninder Singh and Kush R. Varshney and Yunfeng Zhang},
    month = oct,
    year = {2018},
    url = {https://arxiv.org/abs/1810.01943}
}

فيديوهات AIF360

• فيديو تمهيدي لـ AI Fairness 360 من تقديم Kush Varshney، 20 سبتمبر 2018 (32 دقيقة)

المساهمة

الفرع التطويري لعدالة المجموعات الفرعية الغنية (inprocessing/gerryfair_classifier.py) موجود هنا. المساهمات مرحب بها، ويمكن العثور على قائمة بالمساهمات المحتملة من المؤلفين هنا.