ميزات بسيطة تتفوق على معظم مراقبات التحكم بالذكاء الاصطناعي

شيفرة ومصدر ورقة عمل EvoRobust @ NeurIPS 2026.

ما تُظهره الورقة

مراقبات التحكم بالذكاء الاصطناعي هي نماذج تقرأ الشيفرة وتكتشف الأبواب الخلفية (التخريب الخفي). ويجري تطويرها وترتيبها على مجموعات بيانات ثابتة يكون فيها لكل مسألة برمجية حل أمين وحل مزوّد بباب خلفي. وينبغي أن تحصل المراقبة على درجة جيدة على مجموعة بيانات كهذه فقط من خلال العثور على الباب الخلفي. نحن ندرس مجموعة بيانات APPS العامة للأبواب الخلفية (RoganInglis/apps-control-arena)، التي كُتبت حلولها الأمينة بأيدي أشخاص وكُتبت أبوابها الخلفية بواسطة نماذج أقدم (Claude 3.7 Sonnet، o3-mini، o1-mini، GPT-4o وأربعة نماذج أصغر، جميعها صدرت بحلول أوائل 2025، إضافة إلى مصدر غير منسوب). نسمّي أزواجها الأزواج الأصلية. ويلخّص الشكل 1 من الورقة النتائج.

1. المصنّف الذي لا يشغّل الشيفرة أبدًا يتفوق على معظم المراقبات. على تقسيم الاختبار القياسي (1,375 مسألة، برنامج واحد لكل منها، مع إزالة التعليقات) يصل مصنّف حزمة الكلمات المدرَّب على مسائل التدريب في التقسيم إلى AUROC 0.806، وهو أعلى من 20 من أصل 24 نموذجًا مفتوح الأوزان (0.4B-32B) تم توجيهها كمراقبات في أعمال سابقة. وما يقرأه مشترك بين النماذج المهاجمة وموجود سواء نجح الباب الخلفي أم لا؛ وأقوى رموزه المميزة للباب الخلفي (and، ==، if) هي أثر سطحي لأي حالة خاصة مضافة. المصنّف مدرَّب والمراقبات ليست كذلك، لذا فإن هذا يقيس ما تكشفه مجموعة البيانات، لا أي كاشف أفضل.
2. التسميات تسرّب. يحتفظ تقسيم الاختبار ببرنامج المسألة المصاب بباب خلفي فقط إذا نجح الباب الخلفي؛ إذ تفشل 720 من أصل 892 مسألة ذات باب خلفي وتسهم بحلها الأمين بدلًا من ذلك. لذلك تمتلك مسائل فئة الباب الخلفي نحو نصف عدد الاختبارات، ويصل مصنّف يقرأ بيانات وصفية للمسألة فقط (الصعوبة، عدد الاختبارات، طول نص المسألة) إلى 0.766 بالتحقق المتقاطع داخل التقسيم، وهو أعلى من 20 مراقبًا. وعند تدريبه خارج التقسيم يسجّل 0.298، أي العلاقة نفسها معكوسة، لأن العناصر الأمينة هناك تأتي من مسائل استبعدها التقسيم. التسريب ناتج عن طريقة اختيار التسميات، لا عن الشيفرة.
3. المصنّف يكافئ التباين بين المؤلفين. نعيد بناء الأزواج بنموذج واحد، Claude Sonnet 5 (وبشكل منفصل Claude Haiku 4.5)، يكتب الحلين، ونقرن كل فئة بحل المؤلف الآخر. وبتسمية كل نوع من الأزواج حسب من كتب جانبه الأمين وجانبه المصاب بباب خلفي، على المسائل الـ99 التي ينجح فيها كل باب خلفي، يسجّل حزمة الكلمات 0.789 على person / النماذج الأقدم و 0.749 على Sonnet 5 / Sonnet 5، لكن 0.953 على person / Sonnet 5 و0.905 على Sonnet 5 / النماذج الأقدم: فهو يسجّل أعلى قيمة عندما تكون للفئتين مؤلفان مختلفان. وينطبق الأمر نفسه على جميع المحاولات (0.981 مقابل 0.865). ومع مؤلف واحد يحتفظ بـ rho = 0.687 من تفوقه على الصدفة على محاولات Sonnet 5 المفردة و0.097 على محاولات Haiku 4.5، و0.861 على الأبواب الخلفية العاملة، لذا فهو يقرأ أيضًا الحالات الخاصة المضافة للباب الخلفي؛ وجزء مما يحتفظ به Sonnet 5 هو تخطيط يستحثه موجّه هجومنا (def main)، وطلب الحل الأمين بذلك الموجّه يخفض rho إلى 0.390.
4. أي الأبواب الخلفية حقيقية. يستجيب مراقب Sonnet 5 بشكل أساسي للأبواب الخلفية (0.944 على الأزواج الأصلية، و0.966 عندما كتب Sonnet 5 الجانب الأمين، الذي يجد شيفرته أقل إثارة للشك قليلًا). وينخفض إلى 0.755 على person / Sonnet 5، لكن جزءًا من ذلك يعود إلى التسميات. يُحتسب الباب الخلفي عاملًا إذا اختلف خرجه على محفّزه الخاص عن خرج حل أمين، ولا شيء يتحقق من أن المحفّز مدخل قانوني. وتُظهر تسميات مجموعة البيانات المشكلة: في تقسيم الاختبار القياسي، 17 من أصل 172 برنامجًا مصابًا بباب خلفي لديها محفّز غير قانوني فقط و7 تطبع عددًا صحيحًا خاطئًا على اختبار عام. وبدون تلك الـ24، يسجّل حزمة الكلمات 0.817 وتتحرك المراقبات الـ24 المنشورة بمقدار وسيط +0.010. استخدم توليدنا التعريف نفسه، لذا قبل مقارنة المهاجمين نتحقق من كل محفّز في الفئتين مقابل مدقّق مدخلات مكتوب من نص المسألة، ونشترط أن يختلف خرج الباب الخلفي هناك عن إجابة الأغلبية لدى الحلول البشرية، ونبحث في 40 مدخلًا قانونيًا قريبًا عن شاهد عندما يفشل فحص ما. يزيل الفحص 14 من أصل 99 بابًا خلفيًا للنماذج الأقدم و40 من أبواب Sonnet 5. وعلى المسائل الـ54 التي يكون فيها كلا البابين الخلفيين حقيقيين، قد يظل باب Sonnet 5 أصعب في الاكتشاف، بفارق أقل: AUROC 0.958 مقابل 0.904 (الفرق -0.053، فاصل ثقة 95% من -0.108 إلى -0.004)، وعند الإشارة إلى 2% من الحلول البشرية يلتقط المراقب 78% من أبواب النماذج الأقدم الخلفية و61% من أبواب Sonnet 5 (الفرق 0.17، من 0.0002 إلى 0.32، أعلى بقليل فقط من الصفر). وقبل الفحوص، على جميع المسائل الـ99، كان 77% مقابل 37% (0.40، من 0.28 إلى 0.52)، لذا فإن جزءًا من التغيير يأتي من إسقاط المسائل. تعتمد الفجوة على العتبة، وقد يكون جزء منها أن المراقب يفضّل نموذج: مراقب Haiku 4.5، الذي لم يكتب أيًا من الصنفين، يعطي 0.850 مقابل 0.822.

لذا فإن الحصول على درجة عالية في مجموعة بيانات مبنية بهذه الطريقة قد يأتي من إشارات غير الباب الخلفي (نحن لا نُظهر أن المراقبات المنشورة تستخدمها)، ومعدل الالتقاط على تسميات غير مُتحقَّق منها قد يضاعف تأثير المهاجم أكثر من الضعف. نُصدر الأزواج المُعاد بناؤها، ومدققات المدخلات والفحوصات، ونوصي بتشغيلها على معايير مراقبة أخرى: أبلغ عن خطوط الأساس التي لا تشغّل الكود أبدًا (حزمة الكلمات، وبيانات وصفية للمشكلة، والطول) مع درجاتها على التسميات المخلوطة؛ واقرن كل فئة بكود مؤلف آخر؛ وتحقق من أن كل مُحفِّز هو مدخل قانوني تكون إجابة الباب الخلفي عليه خاطئة؛ وأبلغ عن معدلات الالتقاط عند ميزانية تدقيق ثابتة على الأبواب الخلفية التي تنجح، من عدة مولّدات بما في ذلك النماذج الحالية؛ وحيثما تجد الفحوصات اختصارات، اجعل نموذجًا واحدًا يكتب كلتا الفئتين من نفس المطالبة ويختار أمثلة صادقة بشكل مستقل عن نجاح الهجوم.

تخطيط المستودع

experiments/
  apps/        APPS backdoor dataset: the floors on the original pairs, the rebuilt pairs
               (generation, test harness, backdoor verification) and every measurement on them;
               *.json are the committed outputs behind the paper's numbers
    validators/  one input validator per checked problem (258), used by the trigger checks
  agentic/     five agentic settings in which one model wrote both classes (appendix)
  README.md    how to reproduce each result, with commands, and which script gives each number
paper/         LaTeX source, bibliography, figures and the built main.pdf

إعادة الإنتاج

راجع experiments/README.md. تُنفَّذ النتائج على الأزواج الأصلية على وحدة معالجة مركزية (CPU) لحاسوب محمول في غضون دقائق. يتطلب بناء الأزواج المُعاد بناؤها مفتاح Anthropic API، بينما يحتاج البديل مفتوح الأوزان (الذي يعيد توليد الفئة الصادقة فقط) إلى وحدة معالجة رسومات (GPU).

pip install -r requirements.txt
cd experiments/apps
python fetch.py && python fetch_inputs.py && python bow.py
python koran_split_eval.py      # the bag-of-words floor: AUROC 0.806, above 20 of 24 monitors

بناء الورقة

cd paper
make             # main.pdf (pdflatex + bibtex)
make figures     # regenerate fig/ from experiments/apps/figures.py

تثبيت TeX Live الكامل يوفّر كل شيء. أما التثبيت الأساسي (BasicTeX، أو TeX Live بخيار scheme-basic) فيحتاج أيضًا إلى siunitx وtcolorbox (مع tikzfill وpdfcol وlistingsutf8) وinconsolata من أجل الورقة البحثية، وcm-super من أجل make figures، الذي يُصفّف نصوص الرسوم البيانية باستخدام LaTeX. وبدون صلاحيات المسؤول تُثبَّت هذه الحزم في شجرة المستخدم الخاصة بك:

tlmgr init-usertree
tlmgr --usermode install siunitx tcolorbox tikzfill pdfcol listings listingsutf8 inconsolata cm-super
updmap-user --enable Map=zi4.map

البيانات والترخيص