ريفيرس كابتشا: تقييم قابلية نماذج اللغة الكبيرة للتأثر بحقن التعليمات المخفية في اليونيكود

إطار تقييم يختبر ما إذا كانت نماذج اللغة الكبيرة تتبع تعليمات مشفرة في اليونيكود مخفية ضمن نص عادي المظهر. حيث تستغل الكابتشا التقليدية المهام التي يستطيع البشر حلها بينما لا تستطيع الآلات حلها، تستغل ريفيرس كابتشا قناة إدراك يمكن للآلات الوصول إليها بينما لا يستطيع البشر.

الورقة: paper/reverse_captcha.pdf

النتائج الرئيسية

عبر 8,308 مخرجات مصنفة من 5 نماذج (GPT-5.2, GPT-4o-mini, Claude Opus 4, Claude Sonnet 4, Claude Haiku 4.5):

استخدام الأدوات هو المعزز الأساسي

الوصول إلى تنفيذ الكود يحول اليونيكود المخفي من أثر يمكن تجاهله إلى قناة تعليمات قابلة للفك. بدون أدوات، يبقى الامتثال أقل من 17%. مع الأدوات والتلميحات، يصل إلى 98-100%.

ضعف التشفير خاص بمزود الخدمة

نماذج OpenAI تفك شفرة الثنائي صفري العرض لكن ليس علامات اليونيكود. نماذج Anthropic تفضل علامات اليونيكود. يجب على المهاجم تخصيص التشفير لمزود الخدمة المستهدف.

خريطة حرارية للامتثال الكامل

تدرج التلميحات ثابت عبر النماذج: بدون تلميحات << تلميحات نقاط الكود < تلميحات كاملة. الجمع بين الوصول إلى الأدوات وتعليمات فك التشفير هو الممكن الحاسم.

كيف يعمل

يتم تضمين مخططي تشفير مخفيين في أسئلة المعلومات العامة:

• الثنائي صفري العرض (ZW): يتم تشفير كل حرف ASCII إلى 8 أرقام ثنائية باستخدام U+200B (0) و U+200C (1)
• علامات اليونيكود: يتم تعيين كل حرف ASCII إلى U+E0000 + نقطة الكود (حرف مخفي واحد لكل حرف ASCII)

يتلقى النموذج سؤال معلومات عامة بإجابة مرئية معروفة. مخفية في الأحرف المخفية إجابة مختلفة. إذا أخرج النموذج الإجابة المخفية، فقد اتبع التعليمات المخفية.

مصفوفة الاختبار

• 30 زوج أسئلة/إجابة معلومات عامة
• مخططان تشفير × 4 مستويات تلميح + 1 تحكم = 9 حالات
• حالتان للأدوات (تشغيل/إيقاف)
• 5 نماذج
• 270 حالة لكل تشغيل تقييم

التحليل الإحصائي

• فواصل ثقة ويلسون بنسبة 95%
• اختبار فيشر الدقيق مع تصحيح بونفيروني
• اختبارات مربع كاي للتباين حسب النموذج والمخطط
• حجم تأثير كوهين h

بدء سريع

# Install
pip install -e ".[dev]"

# Run reverse CAPTCHA eval
evalrun run --pack reverse_captcha --model openai:gpt-4o-mini --tools --n 3 --out results.sqlite

# Run without tools
evalrun run --pack reverse_captcha --model openai:gpt-4o-mini --n 3 --out results.sqlite

# Run with Anthropic models
evalrun run --pack reverse_captcha --model anthropic:claude-sonnet-4-20250514 --tools --n 3 --out results.sqlite

# Generate analysis
python3 scripts/analyze_journal.py

# Generate figures
python3 scripts/generate_figures.py

هيكل المشروع

├── packs/reverse_captcha/       # حزمة التقييم (الحالات، المصنّف، المولّد)
│   ├── cases.yaml               # 270 حالة اختبار
│   ├── qa_pairs.yaml            # 30 زوج أسئلة/إجابة معلومات عامة
│   ├── grader.py                # تصنيف حتمي (5 فئات)
│   └── generate_cases.py        # مولد الحالات لكلا التشفيرين
├── src/evalrun/                 # الإطار الأساسي
│   ├── adapters/                # محولات API لـ OpenAI و Anthropic
│   ├── cli.py                   # واجهة سطر الأوامر (تشغيل، تقرير، تصدير)
│   ├── runner.py                # مشغل التقييم مع دعم استخدام الأدوات
│   └── db.py                    # تخزين SQLite
├── paper/                       # ورقة ورشة العمل
│   ├── reverse_captcha.tex      # مصدر LaTeX
│   └── reverse_captcha.pdf      # PDF مترجم
├── results/journal/             # البيانات الخام
│   ├── analysis/                # ملفات CSV للتحليل الإحصائي
│   └── figures/                 # أشكال النشر (PDF + PNG)
├── scripts/                     # توليد التحليل والأشكال
└── tests/                       # مجموعة الاختبارات

حزم تقييم أخرى

يتضمن الإطار أيضًا حزمتين إضافيتين:

• متانة العلامة المائية — تختبر ما إذا كانت النماذج تحافظ على علامة المصدر عبر مهام إعادة الكتابة
• استخراج الرسائل المخفية — تختبر ما إذا كانت النماذج يمكنها استخراج رسائل مخفية بوجود قواعد صريحة

البيئة

• Python 3.10+
• OPENAI_API_KEY لنماذج OpenAI
• ANTHROPIC_API_KEY لنماذج Anthropic
• التبعيات: click, openai, anthropic, pyyaml, matplotlib, pandas, scipy, numpy

الترخيص

MIT