IF-Guide

IF-Guide: إزالة السمية من نماذج اللغة الكبيرة باستخدام دوال التأثير [NeurIPS 2025]

يحتوي هذا المستودع على الكود الخاص بـ IF-Guide، وهي تقنية إزالة السمية من نماذج اللغة الكبيرة (LLMs) المقدمة في ورقتنا البحثية:

• IF-Guide: إزالة السمية من نماذج اللغة الكبيرة باستخدام دوال التأثير
• Zachary Coalson, Juhan Bae, Nicholas Carlini, Sanghyun Hong

TL;DR

يمكنك استخدام طريقتنا لإزالة السمية من نماذج اللغة الكبيرة عن طريق تحديد أمثلة التدريب الضارة ثم قمعها أثناء التدريب المسبق أو الضبط الدقيق!

الملخص

ندرس كيف تساهم بيانات التدريب في ظهور السلوكيات السامة في نماذج اللغة الكبيرة. تتبنى معظم الأعمال السابقة التي تهدف إلى تقليل سمية النماذج نهجًا ردّيًا، مثل الضبط الدقيق للنماذج المدربة مسبقًا (والتي قد تكون سامة) لمواءمتها مع القيم البشرية. في المقابل، نقترح نهجًا استباقيًا يُعرف بـ IF-Guide، والذي يستفيد من دوال التأثير لتحديد التوكنات الضارة داخل أي بيانات تدريب وقمع تأثيرها أثناء التدريب. لتحقيق هذه الغاية، نُظهر أولاً أن دوال التأثير القياسية غير فعالة في اكتشاف سجلات التدريب الضارة. ثم نقدم تكيفًا جديدًا يقيس الإسنادات على مستوى التوكن من بيانات التدريب إلى سمية النموذج، إلى جانب تقنيات لاختيار مستندات التدريب السامة وهدف تعلم يمكن دمجه في كل من التدريب المسبق والضبط الدقيق. علاوة على ذلك، لا يعتمد IF-Guide على بيانات التفضيلات البشرية، والتي تتطلبها طرق المواءمة الحالية عادةً. في التقييم، نُظهر أن IF-Guide يقلل بشكل كبير من السمية الصريحة والضمنية - بنسبة تصل إلى 10 أضعاف مقارنة بالنماذج غير المقيدة، وما يصل إلى 3 أضعاف مقارنة بطرق المواءمة الأساسية، مثل DPO و RAD - في كل من سيناريوهات التدريب المسبق والضبط الدقيق. IF-Guide فعال من الناحية الحسابية: فليس من الضروري استخدام نموذج بمليار معلمة لحساب درجات التأثير؛ بل يمكن لنموذج بمليون معلمة - مع عدد معلمات أقل بمقدار 7.5 أضعاف - أن يعمل بفعالية كوسيط لتحديد البيانات الضارة.

التثبيت

أنشئ بيئة conda (يمكنك استخدام أي بيئة تحتوي على python>=3.10) وقم بتثبيت الحزم اللازمة:

conda create -n IF-Guide python=3.10
conda activate IF-Guide
pip install -r requirements.txt

ملاحظة: نستخدم الحزمة Kronfluence لحساب درجات التأثير باستخدام EK-FAC. لقد أنشأنا تنفيذًا مخصصًا يدعم تقنية التأثير التفاضلي المقدمة في ورقتنا (الصفحة 4، المعادلة 6). يعود الفضل في جميع المكونات الأخرى للحزمة إلى منشئيها الأصليين. شكرًا لكم!

بعد ذلك، انتقل إلى دليل العمل:

cd src

تدريب/ضبط النماذج

لتدريب نموذج، قم بتشغيل:

./scripts/train.sh

يستدعي هذا train.py، والذي يقبل الوسائط الرئيسية التالية:

ملاحظة: يمكن ترك جميع الوسائط الأخرى بقيمها الافتراضية لإعادة إنتاج إعدادنا التجريبي. ينطبق هذا على الأقسام التالية.

لضبط نموذج موجود بدقة، قم بتشغيل:

./scripts/finetune.sh

يُشغّل هذا finetune.py، والذي يستخدم الوسائط الإضافية التالية:

تشغيل IF-Guide

يتكون IF-Guide من أربع خطوات: (1) حساب تقريب معكوس الهيسيان باستخدام EK-FAC، (2) حساب درجات التأثير التفاضلي على مستوى التوكن عبر بيانات الاستعلام السامة وغير السامة (الصفحة 4، المعادلة 8)، (3) اختيار التوكنات السامة المؤثرة لقمعها أثناء التدريب (الصفحة 23، الخوارزمية 1)، و(4) قمع التوكنات السامة باستخدام هدف التدريب القائم على الجزاء (الصفحة 5، المعادلة 9).

1. ملاءمة عوامل تقريب معكوس الهيسيان

قم بتشغيل:

./scripts/fit_factors.sh

يستدعي هذا fit_factors.py ويأخذ الوسائط الأساسية التالية:

2. حساب الدرجات على مستوى التوكن

قم بتشغيل:

./scripts/compute_scores.sh

يُشغّل هذا compute_scores.py بالوسائط الرئيسية التالية (بالإضافة إلى معظم الوسائط المستخدمة لحساب العوامل):

3. اختيار التوكنات السامة المؤثرة

قم بتشغيل:

./scripts/build_toxic_token_mask.sh

يُشغّل هذا build_toxic_token_mask.py. ويأخذ الوسائط الأساسية التالية:

4. قمع التوكنات السامة أثناء التدريب/الضبط الدقيق

بعد حساب قناع التوكنات السامة لنموذج معين، يمكنك تحديد الوسيطتين --toxic_token_mask_path و --toxic_lambda في ./scripts/train.sh (و ./scripts/finetune.sh) لتدريب/ضبط النماذج بدقة باستخدام IF-Guide.

التقييم

نوفر كودًا لتقييم السمية الصريحة (عبر Detoxify)، والسمية الضمنية (عبر ToxiGen-RoBERTa)، والطلاقة (تُقاس على LAMBADA و OpenWebText).

تقييم السمية الصريحة

قم بتشغيل:

./scripts/run_toxicity_eval.sh

يُشغّل هذا run_toxicity_eval.py، الذي يحتوي على الوسائط الرئيسية التالية:

تقييم السمية الضمنية

قم بتشغيل:

./scripts/run_implicit_toxicity_eval.sh

يتطلب الوسائط التالية:

تقييم الطلاقة

قم بتشغيل:

./scripts/run_fluency_eval.sh

يحتوي على الوسائط الأساسية التالية:

الاختبار باستخدام RAD

نجد أن طريقتنا قابلة للدمج مع دفاع وقت فك التشفير Reward Augmented Decoding (RAD) [EMNLP 2023]. لتشغيل IF-Guide مع RAD (أو اختبار RAD بشكل مستقل)، قم أولاً بتنزيل نموذج المكافأة (المقدم من مؤلفي العمل الأصلي) وضعه في الدليل المتوقع:

cd utils/rad/reward_modeling
gdown https://storage.googleapis.com/rad_release/saved_models.zip
unzip saved_models.zip && rm saved_models.zip && rm -rf saved_models/gpt2_sentiment

يعود الفضل في تنفيذ RAD الذي نستخدمه بالكامل إلى مؤلفي العمل الأصلي. شكرًا لكم!

الاستشهاد بعملنا

يرجى الاستشهاد بعملنا إذا وجدت هذا الكود المصدري مفيدًا.

@inproceedings{coalson2025ifguide,
  title={{IF}-Guide: Influence Function-Guided Detoxification of {LLM}s},
  author={Coalson, Zachary and Bae, Juhan and Carlini, Nicholas and Hong, Sanghyun},
  booktitle={The Thirty-ninth Annual Conference on Neural Information Processing Systems},
  year={2025},
  url={https://openreview.net/forum?id=V82wLePv0o}
}

يرجى التواصل مع Zachary Coalson ([email protected]) لأي أسئلة أو توصيات.