
Feuere ChatML/Mistral/Llama-Control-Token-Literale auf deinen selbst gehosteten Agent-Stack ab und weise Rollenfälschung nach, bevor es ein Angreifer tut (CVE-2026-61732).
Beweisen Sie, dass Ihr Agent-Stack anfällig für Rollen-Fälschung ist — bevor es ein Angreifer tut.
Eine Drop-in-Probe, die ein Korpus von ChatML-/Mistral-/Llama-Control-Token-Literalen auf den Pfad für nicht vertrauenswürdigen Text Ihres selbst gehosteten Agent-Stacks abfeuert und meldet, ob der Tokenizer oder Server sie in echte Control-Tokens umwandelt — das Primitiv hinter System-Prompt-Fälschung mittels Prompt Injection.
Am 2026-09-24 demonstrierte CVE-2026-61732 (CVSS 10.0) den Angriff, den dieses Tool erkennt: Die gleichen injizierten Wörter, verpackt in ChatML-Control-Tokens, wurden vom Modell ausgeführt — während die Version in einfachem Englisch abgelehnt wurde. Gehostete APIs entfernen diese Literale, aber vLLM, SGLang und Ollama entfernen sie standardmäßig NICHT — daher ist jeder selbst gehostete Stack, der nicht vertrauenswürdigen Text in Prompts einfügt, fälschbar, bis das Gegenteil bewiesen ist.
Quelle: Prompt Injection Your AI Guardrail Never Reads (AGTech Consulting, 2026-09-24).
pip install .
# --tokenizer mode additionally needs: pip install tokenizers
Erfordert Python 3.10+. Nur Standardbibliothek für --selftest und --server.
# 1. Demonstration: two built-in mock tokenizers
# (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest
# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct
# 3. Probe your running server's /tokenize endpoint
# (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
--known-control-ids control-ids.json --json
Beispielausgabe:
Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
[FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
...
Der Exit-Code ist 1, wenn irgendetwas FORGEABLE ist — binde ihn in CI ein, um Builds fehlschlagen zu lassen, die die Token-Hygiene verschlechtern.
Für jedes Korpus-Literal (z. B. <|im_start|>system) vergleicht die Probe:
| Vergleich | Urteil |
|---|---|
Literal tokenisiert identisch zu seinem reinen inneren Text (system) | PASS — Marker werden entfernt/ignoriert |
| Die isolierten Token-IDs eines Markers erscheinen innerhalb der IDs des Literals | FORGEABLE — echtes Steuerungstoken |
| Anders als reiner Text, aber keine bestätigte Übereinstimmung mit einem Steuerungstoken | INCONCLUSIVE — manuell prüfen |
Der Korpus (src/roleprobe/corpus.json, 11 Literale) deckt ChatML (<|im_start|>, <|im_end|>), Mistral ([INST], <<SYS>>), Llama 3 (<|begin_of_text|>, <|start_header_id|>, <|eot_id|>) und bloße Rollenwörter (system:, assistant:) ab.
--tokenizer testet nur den Tokenizer, nicht das Chat-Template oder die System-Prompt-Behandlung deines Serving-Stacks — ein PASS hier beweist nicht, dass dein bereitgestellter Endpunkt sicher ist; verwende --server gegen den echten Pfad.--server benötigt einen Endpunkt, der Token-IDs offenlegt; wenn er nur Text zurückgibt, kann dieses Tool den Status als Steuerungstoken nicht bestätigen (INCONCLUSIVE).tokenizers und dem Python-Port eines Frameworks unterscheiden — teste den exakten Stack, den du auslieferst.PYTHONPATH=src pytest -q
Teil der Ingenious AI Platform-Suite — Sicherheits-Tooling für die Ära der KI-Agenten:
MIT — siehe LICENSE.