
Dispare literais de tokens de controle ChatML/Mistral/Llama contra sua própria pilha de agentes auto-hospedada e comprove a falsificação de papéis antes que um atacante o faça (CVE-2026-61732).
Prove que sua stack de agentes é vulnerável a falsificação de papéis — antes que um atacante o faça.
Uma sonda pronta para uso que dispara um corpus de literais de tokens de controle ChatML / Mistral / Llama contra o caminho de texto não confiável da sua stack de agentes auto-hospedada e relata se o tokenizer ou o servidor os transforma em tokens de controle reais — a primitiva por trás da falsificação de system prompt via injeção de prompt.
Em 2026-09-24, CVE-2026-61732 (CVSS 10.0) demonstrou o ataque que esta ferramenta detecta: as mesmas palavras injetadas, envoltas em tokens de controle ChatML, foram executadas pelo modelo — enquanto a versão em inglês simples foi recusada. APIs hospedadas removem esses literais, mas vLLM, SGLang e Ollama NÃO os removem por padrão — portanto, qualquer stack auto-hospedada que concatene texto não confiável em prompts é falsificável até que se prove o contrário.
Fonte: Prompt Injection Your AI Guardrail Never Reads (AGTech Consulting, 2026-09-24).
pip install .
# --tokenizer mode additionally needs: pip install tokenizers
Requer Python 3.10+. Apenas biblioteca padrão para --selftest e --server.
# 1. Demonstration: two built-in mock tokenizers
# (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest
# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct
# 3. Probe your running server's /tokenize endpoint
# (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
--known-control-ids control-ids.json --json
Exemplo de saída:
Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
[FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
...
O código de saída é 1 quando algo é FORGEABLE — inclua-o no CI para falhar builds que regridem a higiene de tokens.
Para cada literal do corpus (por exemplo, <|im_start|>system) a sonda compara:
| Comparação | Veredicto |
|---|---|
o literal é tokenizado de forma idêntica ao seu texto interno simples (system) | PASS — marcadores removidos/ignorados |
| os ids de token isolados de um marcador aparecem dentro dos ids do literal | FORGEABLE — token de controlo real |
| diferente do texto simples, mas sem correspondência confirmada de token de controlo | INCONCLUSIVE — rever manualmente |
O corpus (src/roleprobe/corpus.json, 11 literais) cobre ChatML (<|im_start|>, <|im_end|>), Mistral ([INST], <<SYS>>), Llama 3 (<|begin_of_text|>, <|start_header_id|>, <|eot_id|>) e palavras de papel isoladas (system:, assistant:).
--tokenizer testa apenas o tokenizer, não o chat template ou o tratamento do system-prompt da sua stack de serving — um PASS aqui não prova que o seu endpoint implementado é seguro; use --server contra o caminho real.--server requer que o seu endpoint exponha os ids de token; se apenas devolver texto, esta ferramenta não consegue confirmar o estado de token de controlo (INCONCLUSIVE).tokenizers e a porta Python de um framework — sonde a stack exata que implementa.PYTHONPATH=src pytest -q
Parte da suíte de plataformas Ingenious AI — ferramentas de segurança para a era dos agentes de IA:
MIT — consulte LICENSE.
Descubra as ferramentas mais usadas pela nossa comunidade.
Sem dados de popularidade ainda.