Skip to content
KitploitKITPLOIT
FerramentasExploitsBlog
Log in
Enviar
FerramentasExploitsBlog
Enviar

Ferramentas de Hacking, PenTest e Cibersegurança para o seu Arsenal de Segurança!

Kitploit é um diretório de ferramentas de hacking, cibersegurança e pentesting. Descubra as últimas atualizações de projetos para encontrar vulnerabilidades, analisar sistemas, automatizar testes e fortalecer sua segurança.

FeedsContatoPrivacidade© 2026 Kitploit

Diretório de Ferramentas

Categorias

Ver todas as categorias
Loading categories
Ferramentas/GitHubGitHub/iceman2050/chatml-role-token-probe
Ferramentas DefensivasScanners de VulnerabilidadesAnálise de VulnerabilidadesTestes de PenetraçãoDevSecOpsSegurança de IA
GitHubiceman2050/chatml-role-token-probe

chatml-role-token-probe

Compartilhar

Dispare literais de tokens de controle ChatML/Mistral/Llama contra sua própria pilha de agentes auto-hospedada e comprove a falsificação de papéis antes que um atacante o faça (CVE-2026-61732).

Ver RepositórioSite
1há 1 mêsAinda não revisado

chatml-role-token-probe

Prove que sua stack de agentes é vulnerável a falsificação de papéis — antes que um atacante o faça.

Uma sonda pronta para uso que dispara um corpus de literais de tokens de controle ChatML / Mistral / Llama contra o caminho de texto não confiável da sua stack de agentes auto-hospedada e relata se o tokenizer ou o servidor os transforma em tokens de controle reais — a primitiva por trás da falsificação de system prompt via injeção de prompt.

Por que isso existe (gancho de notícia)

Em 2026-09-24, CVE-2026-61732 (CVSS 10.0) demonstrou o ataque que esta ferramenta detecta: as mesmas palavras injetadas, envoltas em tokens de controle ChatML, foram executadas pelo modelo — enquanto a versão em inglês simples foi recusada. APIs hospedadas removem esses literais, mas vLLM, SGLang e Ollama NÃO os removem por padrão — portanto, qualquer stack auto-hospedada que concatene texto não confiável em prompts é falsificável até que se prove o contrário.

Fonte: Prompt Injection Your AI Guardrail Never Reads (AGTech Consulting, 2026-09-24).

Instalação

pip install .
# --tokenizer mode additionally needs: pip install tokenizers

Requer Python 3.10+. Apenas biblioteca padrão para --selftest e --server.

Uso

# 1. Demonstration: two built-in mock tokenizers
#    (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest

# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct

# 3. Probe your running server's /tokenize endpoint
#    (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
    --known-control-ids control-ids.json --json

Exemplo de saída:

Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
  [FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
  ...

O código de saída é 1 quando algo é FORGEABLE — inclua-o no CI para falhar builds que regridem a higiene de tokens.

Como funcionam os veredictos

Para cada literal do corpus (por exemplo, <|im_start|>system) a sonda compara:

ComparaçãoVeredicto
o literal é tokenizado de forma idêntica ao seu texto interno simples (system)PASS — marcadores removidos/ignorados
os ids de token isolados de um marcador aparecem dentro dos ids do literalFORGEABLE — token de controlo real
diferente do texto simples, mas sem correspondência confirmada de token de controloINCONCLUSIVE — rever manualmente

O corpus (src/roleprobe/corpus.json, 11 literais) cobre ChatML (<|im_start|>, <|im_end|>), Mistral ([INST], <<SYS>>), Llama 3 (<|begin_of_text|>, <|start_header_id|>, <|eot_id|>) e palavras de papel isoladas (system:, assistant:).

Notas de âmbito (honestas)

  • --tokenizer testa apenas o tokenizer, não o chat template ou o tratamento do system-prompt da sua stack de serving — um PASS aqui não prova que o seu endpoint implementado é seguro; use --server contra o caminho real.
  • --server requer que o seu endpoint exponha os ids de token; se apenas devolver texto, esta ferramenta não consegue confirmar o estado de token de controlo (INCONCLUSIVE).
  • O comportamento do tokenizer pode diferir entre a porta Rust tokenizers e a porta Python de um framework — sonde a stack exata que implementa.

Testes

PYTHONPATH=src pytest -q

Criado pela Ingenious AI

Parte da suíte de plataformas Ingenious AI — ferramentas de segurança para a era dos agentes de IA:

  • DisclosureGuard
  • ModelMinder
  • TermsWatch
  • Vibe-Code Audit
  • Rogue-Agent Defense
  • BreachHunter
  • ChatBreaker
  • Agent Flight Recorder
  • Agent Auth Gateway
  • DomainGuard
  • ContentCraft AI

Licença

MIT — consulte LICENSE.

Baixar ferramenta

Mais Populares

Ver todos →

Descubra as ferramentas mais usadas pela nossa comunidade.

Sem dados de popularidade ainda.

Explore todas as ferramentas

Navegue pela nossa coleção de ferramentas

Ver todas as ferramentas →