
Inyecta literales de tokens de control de Fire ChatML/Mistral/Llama en tu stack de agentes autoalojado y demuestra la falsificación de roles antes de que lo haga un atacante (CVE-2026-61732).
Demuestra que tu stack de agentes es vulnerable a la falsificación de roles — antes de que lo haga un atacante.
Una sonda lista para usar que lanza un corpus de literales de tokens de control de ChatML / Mistral / Llama contra la ruta de texto no confiable de tu stack de agentes autoalojado e informa si el tokenizador o el servidor los convierte en tokens de control reales — la primitiva detrás de la falsificación de system prompts mediante inyección de prompts.
El 2026-09-24, CVE-2026-61732 (CVSS 10.0) demostró el ataque que esta herramienta detecta: las mismas palabras inyectadas, envueltas en tokens de control de ChatML, fueron ejecutadas por el modelo — mientras que la versión en inglés simple fue rechazada. Las APIs alojadas eliminan estos literales, pero vLLM, SGLang y Ollama NO los eliminan por defecto — por lo que cualquier stack autoalojado que concatene texto no confiable en los prompts es falsificable hasta que se demuestre lo contrario.
Fuente: Prompt Injection Your AI Guardrail Never Reads (AGTech Consulting, 2026-09-24).
pip install .
# --tokenizer mode additionally needs: pip install tokenizers
Requiere Python 3.10+. Solo biblioteca estándar para --selftest y --server.
# 1. Demonstration: two built-in mock tokenizers
# (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest
# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct
# 3. Probe your running server's /tokenize endpoint
# (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
--known-control-ids control-ids.json --json
Ejemplo de salida:
Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
[FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
...
El código de salida es 1 cuando algo es FORGEABLE — intégralo en CI para que fallen las compilaciones que degraden la higiene de tokens.
Para cada literal del corpus (p. ej. <|im_start|>system) la sonda compara:
| Comparación | Veredicto |
|---|---|
el literal se tokeniza de forma idéntica a su texto interno plano (system) | PASS — marcadores eliminados/ignorados |
| los ids de token aislados de un marcador aparecen dentro de los ids del literal | FORGEABLE — token de control real |
| diferente del texto plano, pero sin coincidencia confirmada de token de control | INCONCLUSIVE — revisar manualmente |
El corpus (src/roleprobe/corpus.json, 11 literales) cubre ChatML (<|im_start|>, <|im_end|>), Mistral ([INST], <<SYS>>), Llama 3 (<|begin_of_text|>, <|start_header_id|>, <|eot_id|>) y palabras de rol sin formato (system:, assistant:).
--tokenizer solo prueba el tokenizador, no la plantilla de chat ni el manejo del system prompt de tu stack de servicio — un PASS aquí no demuestra que tu endpoint desplegado sea seguro; usa --server contra la ruta real.--server requiere que tu endpoint exponga los ids de token; si solo devuelve texto, esta herramienta no puede confirmar el estado de token de control (INCONCLUSIVE).tokenizers y el port de Python de un framework — sondea el stack exacto que despliegas.PYTHONPATH=src pytest -q
Parte de la suite de la plataforma Ingenious AI — herramientas de seguridad para la era de los agentes de IA:
MIT — consulta LICENSE.