रिवर्स कैप्चा: अदृश्य यूनिकोड निर्देश इंजेक्शन के प्रति एलएलएम की संवेदनशीलता का मूल्यांकन

एक मूल्यांकन ढाँचा जो यह परीक्षण करता है कि क्या बड़े भाषा मॉडल सामान्य दिखने वाले पाठ में एम्बेडेड अदृश्य यूनिकोड-एन्कोडेड निर्देशों का पालन करते हैं। जहाँ पारंपरिक कैप्चा उन कार्यों का शोषण करते हैं जिन्हें मनुष्य हल कर सकते हैं लेकिन मशीनें नहीं, वहीं रिवर्स कैप्चा एक धारणा चैनल का शोषण करता है जिसे मशीनें एक्सेस कर सकती हैं लेकिन मनुष्य नहीं।

पेपर: paper/reverse_captcha.pdf

मुख्य निष्कर्ष

5 मॉडलों (GPT-5.2, GPT-4o-mini, Claude Opus 4, Claude Sonnet 4, Claude Haiku 4.5) से 8,308 ग्रेडेड आउटपुट में:

टूल उपयोग प्राथमिक प्रवर्धक है

कोड निष्पादन एक्सेस अदृश्य यूनिकोड को एक अनदेखी कलाकृति से एक डिकोड करने योग्य निर्देश चैनल में बदल देता है। उपकरणों के बिना, अनुपालन 17% से नीचे रहता है। उपकरणों और संकेतों के साथ, यह 98-100% तक पहुँच जाता है।

एन्कोडिंग भेद्यता प्रदाता-विशिष्ट है

OpenAI मॉडल जीरो-विड्थ बाइनरी को डिकोड करते हैं लेकिन यूनिकोड टैग को नहीं। Anthropic मॉडल यूनिकोड टैग पसंद करते हैं। एक हमलावर को लक्ष्य प्रदाता के अनुसार एन्कोडिंग को तैयार करना होगा।

पूर्ण अनुपालन हीटमैप

संकेत ग्रेडिएंट सभी मॉडलों में सुसंगत है: बिना संकेत << कोडपॉइंट संकेत < पूर्ण संकेत। टूल एक्सेस और डिकोडिंग निर्देशों का संयोजन महत्वपूर्ण सक्षमकर्ता है।

यह कैसे काम करता है

दो अदृश्य एन्कोडिंग योजनाएँ सामान्य ज्ञान प्रश्नों में एम्बेड की जाती हैं:

• जीरो-विड्थ बाइनरी (ZW): प्रत्येक ASCII वर्ण को U+200B (0) और U+200C (1) का उपयोग करके 8 बाइनरी अंकों के रूप में एन्कोड किया गया
• यूनिकोड टैग: प्रत्येक ASCII वर्ण को U+E0000 + कोडपॉइंट पर मैप किया गया (प्रति ASCII वर्ण एक अदृश्य वर्ण)

मॉडल को एक ज्ञात दृश्य उत्तर के साथ एक सामान्य ज्ञान प्रश्न प्राप्त होता है। अदृश्य वर्णों में छिपा हुआ एक अलग उत्तर होता है। यदि मॉडल छिपे हुए उत्तर को आउटपुट करता है, तो उसने अदृश्य निर्देश का पालन किया।

परीक्षण मैट्रिक्स

• 30 सामान्य ज्ञान Q/A जोड़े
• 2 एन्कोडिंग योजनाएँ x 4 संकेत स्तर + 1 नियंत्रण = 9 शर्तें
• 2 टूल शर्तें (ON/OFF)
• 5 मॉडल
• प्रति मूल्यांकन रन 270 मामले

सांख्यिकीय विश्लेषण

• विल्सन स्कोर 95% विश्वास अंतराल
• बॉन्फेरोनी सुधार के साथ फिशर का सटीक परीक्षण
• प्रति-मॉडल योजना भिन्नता के लिए ची-स्क्वायर्ड परीक्षण
• कोहेन का h प्रभाव आकार

त्वरित आरंभ

# Install
pip install -e ".[dev]"

# Run reverse CAPTCHA eval
evalrun run --pack reverse_captcha --model openai:gpt-4o-mini --tools --n 3 --out results.sqlite

# Run without tools
evalrun run --pack reverse_captcha --model openai:gpt-4o-mini --n 3 --out results.sqlite

# Run with Anthropic models
evalrun run --pack reverse_captcha --model anthropic:claude-sonnet-4-20250514 --tools --n 3 --out results.sqlite

# Generate analysis
python3 scripts/analyze_journal.py

# Generate figures
python3 scripts/generate_figures.py

परियोजना संरचना

├── packs/reverse_captcha/       # मूल्यांकन पैक (मामले, ग्रेडर, जनरेटर)
│   ├── cases.yaml               # 270 परीक्षण मामले
│   ├── qa_pairs.yaml            # 30 सामान्य ज्ञान Q/A जोड़े
│   ├── grader.py                # नियतात्मक ग्रेडिंग (5 श्रेणियाँ)
│   └── generate_cases.py        # दोनों एन्कोडिंग के लिए मामला जनरेटर
├── src/evalrun/                 # मुख्य ढाँचा
│   ├── adapters/                # OpenAI + Anthropic API एडाप्टर
│   ├── cli.py                   # CLI (रन, रिपोर्ट, एक्सपोर्ट)
│   ├── runner.py                # टूल-उपयोग समर्थन के साथ मूल्यांकन रनर
│   └── db.py                    # SQLite स्थायित्व
├── paper/                       # कार्यशाला पेपर
│   ├── reverse_captcha.tex      # LaTeX स्रोत
│   └── reverse_captcha.pdf      # संकलित PDF
├── results/journal/             # कच्चा डेटा
│   ├── analysis/                # सांख्यिकीय विश्लेषण CSVs
│   └── figures/                 # प्रकाशन आंकड़े (PDF + PNG)
├── scripts/                     # विश्लेषण और आंकड़ा निर्माण
└── tests/                       # परीक्षण सूट

अन्य मूल्यांकन पैक

ढाँचे में दो अतिरिक्त पैक भी शामिल हैं:

• वॉटरमार्क मजबूती — परीक्षण करता है कि क्या मॉडल पुनर्लेखन कार्यों में एक उत्पत्ति मार्कर को संरक्षित करते हैं
• छिपा संदेश निष्कर्षण — परीक्षण करता है कि क्या मॉडल स्पष्ट नियमों को देखते हुए छिपे हुए संदेश निकाल सकते हैं

पर्यावरण

• Python 3.10+
• OPENAI_API_KEY OpenAI मॉडल के लिए
• ANTHROPIC_API_KEY Anthropic मॉडल के लिए
• निर्भरताएँ: click, openai, anthropic, pyyaml, matplotlib, pandas, scipy, numpy

लाइसेंस

MIT