Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
chatml-role-token-probe — Inyecta literales de tokens de control de Fire ChatML/Mistral/Llama en tu stack de agentes autoalojado y demuestra la falsificación de roles antes de que lo haga un atacante (CVE-2026-61732). | Kitploit
Herramientas/GitHubGitHub/iceman2050/chatml-role-token-probe
Herramientas DefensivasEscáneres de VulnerabilidadesAnálisis de VulnerabilidadesPruebas de PenetraciónDevSecOpsSeguridad de IA
GitHubiceman2050/chatml-role-token-probe

chatml-role-token-probe

Compartir

Inyecta literales de tokens de control de Fire ChatML/Mistral/Llama en tu stack de agentes autoalojado y demuestra la falsificación de roles antes de que lo haga un atacante (CVE-2026-61732).

Ver RepositorioSitio web
1hace 1 mesAún no revisado

chatml-role-token-probe

Demuestra que tu stack de agentes es vulnerable a la falsificación de roles — antes de que lo haga un atacante.

Una sonda lista para usar que lanza un corpus de literales de tokens de control de ChatML / Mistral / Llama contra la ruta de texto no confiable de tu stack de agentes autoalojado e informa si el tokenizador o el servidor los convierte en tokens de control reales — la primitiva detrás de la falsificación de system prompts mediante inyección de prompts.

Por qué existe esto (gancho de actualidad)

El 2026-09-24, CVE-2026-61732 (CVSS 10.0) demostró el ataque que esta herramienta detecta: las mismas palabras inyectadas, envueltas en tokens de control de ChatML, fueron ejecutadas por el modelo — mientras que la versión en inglés simple fue rechazada. Las APIs alojadas eliminan estos literales, pero vLLM, SGLang y Ollama NO los eliminan por defecto — por lo que cualquier stack autoalojado que concatene texto no confiable en los prompts es falsificable hasta que se demuestre lo contrario.

Fuente: Prompt Injection Your AI Guardrail Never Reads (AGTech Consulting, 2026-09-24).

Instalación

pip install .
# --tokenizer mode additionally needs: pip install tokenizers

Requiere Python 3.10+. Solo biblioteca estándar para --selftest y --server.

Uso

# 1. Demonstration: two built-in mock tokenizers
#    (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest

# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct

# 3. Probe your running server's /tokenize endpoint
#    (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
    --known-control-ids control-ids.json --json

Ejemplo de salida:

Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
  [FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
  ...

El código de salida es 1 cuando algo es FORGEABLE — intégralo en CI para que fallen las compilaciones que degraden la higiene de tokens.

Cómo funcionan los veredictos

Para cada literal del corpus (p. ej. <|im_start|>system) la sonda compara:

ComparaciónVeredicto
el literal se tokeniza de forma idéntica a su texto interno plano (system)PASS — marcadores eliminados/ignorados
los ids de token aislados de un marcador aparecen dentro de los ids del literalFORGEABLE — token de control real
diferente del texto plano, pero sin coincidencia confirmada de token de controlINCONCLUSIVE — revisar manualmente

El corpus (src/roleprobe/corpus.json, 11 literales) cubre ChatML (<|im_start|>, <|im_end|>), Mistral ([INST], <<SYS>>), Llama 3 (<|begin_of_text|>, <|start_header_id|>, <|eot_id|>) y palabras de rol sin formato (system:, assistant:).

Notas de alcance (honestas)

  • --tokenizer solo prueba el tokenizador, no la plantilla de chat ni el manejo del system prompt de tu stack de servicio — un PASS aquí no demuestra que tu endpoint desplegado sea seguro; usa --server contra la ruta real.
  • --server requiere que tu endpoint exponga los ids de token; si solo devuelve texto, esta herramienta no puede confirmar el estado de token de control (INCONCLUSIVE).
  • El comportamiento del tokenizador puede diferir entre el port de Rust de tokenizers y el port de Python de un framework — sondea el stack exacto que despliegas.

Pruebas

PYTHONPATH=src pytest -q

Creado por Ingenious AI

Parte de la suite de la plataforma Ingenious AI — herramientas de seguridad para la era de los agentes de IA:

  • DisclosureGuard
  • ModelMinder
  • TermsWatch
  • Vibe-Code Audit
  • Rogue-Agent Defense
  • BreachHunter
  • ChatBreaker
  • Agent Flight Recorder
  • Agent Auth Gateway
  • DomainGuard
  • ContentCraft AI

Licencia

MIT — consulta LICENSE.

Descargar herramienta

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    755
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    510
  • 3

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    415
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    343
  • 5

    antifox

    antifox-ai/antifox

    Plataforma de pruebas de penetración autónoma con múltiples agentes de IA que ejecuta reconocimiento, descubrimiento de superficie de ataque, validación de explotación y entrega de informes respaldados por evidencia.

    259
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    258

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →