Heretic: إزالة الرقابة تلقائيًا بالكامل لنماذج اللغة

Heretic هي أداة تزيل الرقابة (المعروفة أيضًا باسم "المحاذاة الأمنية") من نماذج اللغة القائمة على المحوّلات (transformers) دون الحاجة إلى تدريب لاحق مكلف. وهي تجمع بين تنفيذ متقدم للاستئصال الاتجاهي (directional ablation)، المعروف أيضًا باسم "abliteration" (Arditi et al. 2024، Lai 2025 (1، 2))، مع مُحسِّن معاملات قائم على TPE مدعوم بـ Optuna.

يتيح هذا النهج لـ Heretic العمل تلقائيًا بالكامل. يجد Heretic معاملات abliteration عالية الجودة من خلال التقليل المشترك لعدد حالات الرفض وتباعد KL عن النموذج الأصلي. وينتج عن ذلك نموذج منزوع الرقابة يحتفظ بأكبر قدر ممكن من ذكاء النموذج الأصلي. لا يتطلب استخدام Heretic فهمًا للبنية الداخلية للمحوّلات. في الواقع، أي شخص يعرف كيفية تشغيل برنامج سطر أوامر يمكنه استخدام Heretic لنزع الرقابة عن نماذج اللغة.

يدعم Heretic معظم النماذج الكثيفة (dense)، بما في ذلك العديد من النماذج متعددة الوسائط، وعدة معماريات MoE مختلفة، وحتى بعض النماذج الهجينة مثل Qwen3.5. النماذج القائمة على فضاء الحالة (state-space) البحتة وبعض معماريات البحث الأخرى غير مدعومة بعد بشكل جاهز.

 

عند التشغيل دون إشراف باستخدام الإعدادات الافتراضية، يمكن لـ Heretic إنتاج نماذج منزوعة الرقابة تنافس جودة عمليات abliteration التي أنشأها خبراء بشريون يدويًا:

النموذج	حالات الرفض للمطالبات "الضارة"	تباعد KL عن النموذج الأصلي للمطالبات "غير الضارة"
google/gemma-3-12b-it (الأصلي)	97/100	0 (بحكم التعريف)
mlabonne/gemma-3-12b-it-abliterated-v2	3/100	1.04
huihui-ai/gemma-3-12b-it-abliterated	3/100	0.45
p-e-w/gemma-3-12b-it-heretic (خاصتنا)	3/100	0.16

نسخة Heretic، التي أُنشئت دون أي جهد بشري، تحقق نفس مستوى كبت الرفض الذي تحققه عمليات abliteration الأخرى، ولكن بتباعد KL أقل بكثير، مما يشير إلى ضرر أقل لقدرات النموذج الأصلي. (يمكنك إعادة إنتاج تلك الأرقام باستخدام وظيفة التقييم المدمجة في Heretic، مثل heretic --model google/gemma-3-12b-it --evaluate-model p-e-w/gemma-3-12b-it-heretic. لاحظ أن القيم الدقيقة قد تعتمد على المنصة والعتاد. تم تجميع الجدول أعلاه باستخدام PyTorch 2.8 على RTX 5090.)

بالطبع، المقاييس الرياضية والمعايير الآلية لا تروي القصة كاملة أبدًا، وليست بديلاً عن التقييم البشري. النماذج المُنشأة باستخدام Heretic لاقت استحسانًا من المستخدمين (أُضيفت الروابط والتشديد):

"كنت متشككًا في السابق، لكنني حمّلت للتو GPT-OSS 20B Heretic ويا للهول. إنه يقدم ردودًا طويلة منسقة بشكل صحيح للمواضيع الحساسة، باستخدام الكلمات غير الخاضعة للرقابة تمامًا التي تتوقعها من نموذج غير خاضع للرقابة، وينتج جداول بتنسيق markdown مع التفاصيل وما إلى ذلك. يبدو أن هذه أفضل نسخة abliterated من هذا النموذج حتى الآن..." (رابط التعليق)

"Heretic GPT 20b يبدو أفضل نموذج غير خاضع للرقابة جربته حتى الآن. إنه لا يدمّر ذكاء النموذج ويجيب على المطالبات التي كان النموذج الأساسي سيرفضها عادةً." (رابط التعليق)

"[Qwen3-4B-Instruct-2507-heretic] كان أفضل نموذج abliterated غير مُكمَّم تمكنت من تشغيله على 16gb vram." (رابط التعليق)

كما تم تقييم نماذج Heretic بشكل مستقل باستخدام مقاييس معيارية مثل MMLU وGSM8K، ووُجد أنها تُقارن بشكل إيجابي مع النماذج التي تنتجها أدوات abliteration المنافسة: 1، 2.

أنشأ المجتمع ونشر أكثر من 5000 نموذج باستخدام Heretic.

الاستخدام

جهّز بيئة Python 3.10+ مع تثبيت PyTorch 2.2+ بما يتناسب مع العتاد لديك. ثم شغّل:

pip install -U heretic-llm
heretic Qwen/Qwen3-4B-Instruct-2507

استبدل Qwen/Qwen3-4B-Instruct-2507 بأي نموذج تريد نزع الرقابة عنه.

[!IMPORTANT]

بينما PyTorch 2.2 هو الحد الأدنى من إصدار PyTorch اللازم لعمل Heretic، قد تتطلب بعض النماذج والإعدادات ميزات موجودة فقط في إصدارات لاحقة. على سبيل المثال، تحميل نماذج مُكمَّمة بـ MXFP4 مثل gpt-oss يستخدم torch.accelerator، الذي أُضيف في PyTorch 2.6.

[!TIP]

يستخدم Heretic uv لإدارة التبعيات، ويتضمن المستودع ملف uv.lock يثبّت كل إصدار حزمة. إذا كنت تستخدم uv بالفعل (وغالبًا ينبغي لك ذلك!)، يمكنك فقط استنساخ المستودع وتشغيل Heretic باستخدام uv run heretic، مما يضمن تطابق تبعياتك مع تلك التي يستخدمها المطورون، مما يحسّن الموثوقية والأمان.

العملية تلقائية بالكامل ولا تتطلب إعدادًا؛ ومع ذلك، لدى Heretic مجموعة متنوعة من معاملات الإعداد التي يمكن تغييرها لمزيد من التحكم. شغّل heretic --help لرؤية خيارات سطر الأوامر المتاحة، أو اطّلع على config.default.toml إذا كنت تفضل استخدام ملف إعداد.

في بداية تشغيل البرنامج، يقيس Heretic أداء النظام لتحديد حجم الدفعة الأمثل للاستفادة القصوى من العتاد المتاح. على RTX 3090، مع الإعدادات الافتراضية، يستغرق نزع الرقابة عن Qwen3-4B-Instruct-2507 حوالي 20-30 دقيقة. لاحظ أن Heretic يدعم تكميم النماذج باستخدام bitsandbytes، مما يمكن أن يقلل بشكل كبير من كمية VRAM المطلوبة لمعالجة النماذج. اضبط خيار quantization على bnb_4bit لتمكين التكميم.

بعد أن ينتهي Heretic من نزع الرقابة عن نموذج، تُمنح خيار حفظ النموذج، أو رفعه إلى Hugging Face، أو الدردشة معه لاختبار مدى جودته، أو تشغيل معايير قياسية عليه، أو أي مزيج من هذه الإجراءات.

كيف يعمل Heretic

ينفّذ Heretic نسخة مُعامَلة (parametrized) من الاستئصال الاتجاهي. لكل مكوّن محوّل مدعوم (حاليًا، الإسقاط الخارجي للانتباه (attention out-projection) والإسقاط الهابط لـ MLP)، يحدد المصفوفات المرتبطة في كل طبقة من طبقات المحوّل، ويجعلها متعامدة بالنسبة إلى "الاتجاه المتبقي" (residual direction) ذو الصلة، مما يثبّط التعبير عن ذلك الاتجاه في نتيجة الضرب بتلك المصفوفة.

تُحسب الاتجاهات المتبقية لكل طبقة على أنها فرق المتوسطات (difference-of-means) بين البقايا (residuals) للرمز الأول للمطالبات "الضارة" و"غير الضارة" النموذجية.

تُتحكَّم عملية الاستئصال بعدة معاملات قابلة للتحسين: