
अपने स्व-होस्टेड एजेंट स्टैक पर Fire ChatML/Mistral/Llama कंट्रोल-टोकन लिटरल दागें और हमलावर से पहले भूमिका-जालसाज़ी (role-forgery) सिद्ध करें (CVE-2026-61732)।
साबित करें कि आपका एजेंट स्टैक role-forgery के प्रति असुरक्षित है — इससे पहले कि कोई हमलावर ऐसा करे।
एक ड्रॉप-इन प्रोब जो आपके सेल्फ-होस्टेड एजेंट स्टैक के अविश्वसनीय-टेक्स्ट पाथ पर ChatML / Mistral / Llama कंट्रोल-टोकन लिटरल्स का एक कॉर्पस दागता है और रिपोर्ट करता है कि क्या टोकनाइज़र या सर्वर उन्हें वास्तविक कंट्रोल टोकन में बदल देता है — यही वह प्रिमिटिव है जो prompt injection के माध्यम से system-prompt forgery के पीछे है।
2026-09-24 को, CVE-2026-61732 (CVSS 10.0) ने उस हमले का प्रदर्शन किया जिसे यह टूल डिटेक्ट करता है: ChatML कंट्रोल टोकन में लिपटे वही इंजेक्ट किए गए शब्द मॉडल द्वारा निष्पादित किए गए — जबकि सादे अंग्रेज़ी संस्करण को अस्वीकार कर दिया गया। होस्टेड API इन लिटरल्स को हटा देते हैं, लेकिन vLLM, SGLang, और Ollama डिफ़ॉल्ट रूप से इन्हें नहीं हटाते — इसलिए कोई भी सेल्फ-होस्टेड स्टैक जो अविश्वसनीय टेक्स्ट को प्रॉम्प्ट में जोड़ता है, तब तक forgeable है जब तक अन्यथा साबित न हो जाए।
स्रोत: Prompt Injection Your AI Guardrail Never Reads (AGTech Consulting, 2026-09-24)।
pip install .
# --tokenizer mode additionally needs: pip install tokenizers
Python 3.10+ आवश्यक है। --selftest और --server के लिए केवल मानक लाइब्रेरी।
# 1. Demonstration: two built-in mock tokenizers
# (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest
# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct
# 3. Probe your running server's /tokenize endpoint
# (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
--known-control-ids control-ids.json --json
उदाहरण आउटपुट:
Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
[FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
...
एग्ज़िट कोड 1 होता है जब कुछ भी FORGEABLE हो — इसे CI में डालें ताकि टोकन स्वच्छता में गिरावट लाने वाले बिल्ड विफल हो जाएँ।
प्रत्येक कॉर्पस लिटरल (जैसे <|im_start|>system) के लिए प्रोब तुलना करता है:
| तुलना | वर्डिक्ट |
|---|---|
लिटरल अपने सादे आंतरिक टेक्स्ट (system) के समान रूप से टोकनाइज़ होता है | PASS — मार्कर हटाए/अनदेखे किए गए |
| किसी मार्कर के पृथक टोकन आईडी लिटरल की आईडी के भीतर दिखाई देते हैं | FORGEABLE — वास्तविक कंट्रोल टोकन |
| सादे टेक्स्ट से भिन्न, लेकिन कोई पुष्ट कंट्रोल-टोकन मिलान नहीं | INCONCLUSIVE — मैन्युअल रूप से समीक्षा करें |
कॉर्पस (src/roleprobe/corpus.json, 11 लिटरल) में ChatML (<|im_start|>, <|im_end|>), Mistral ([INST], <<SYS>>), Llama 3 (<|begin_of_text|>, <|start_header_id|>, <|eot_id|>), और नंगे रोल शब्द (system:, assistant:) शामिल हैं।
--tokenizer केवल टोकनाइज़र का परीक्षण करता है, आपके सर्विंग स्टैक के चैट टेम्पलेट या सिस्टम-प्रॉम्प्ट हैंडलिंग का नहीं — यहाँ PASS का मतलब यह नहीं कि आपका डिप्लॉय किया गया एंडपॉइंट सुरक्षित है; वास्तविक पथ के विरुद्ध --server का उपयोग करें।--server के लिए आवश्यक है कि आपका एंडपॉइंट टोकन आईडी उजागर करे; यदि यह केवल टेक्स्ट लौटाता है, तो यह टूल कंट्रोल-टोकन स्थिति की पुष्टि नहीं कर सकता (INCONCLUSIVE)।tokenizers Rust पोर्ट और किसी फ्रेमवर्क के Python पोर्ट के बीच भिन्न हो सकता है — उसी सटीक स्टैक की जाँच करें जिसे आप शिप करते हैं।PYTHONPATH=src pytest -q
Ingenious AI प्लेटफ़ॉर्म सूट का हिस्सा — AI-एजेंट युग के लिए सुरक्षा टूलिंग:
MIT — देखें LICENSE।