Skip to content
KitploitKITPLOIT
ToolsExploitsBlog
Log in
Einreichen
ToolsExploitsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools für Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
chatml-role-token-probe — Feuere ChatML/Mistral/Llama-Control-Token-Literale auf deinen selbst gehosteten Agent-Stack ab und weise Rollenfälschung nach, bevor es ein Angreifer tut (CVE-2026-61732). | Kitploit
Tools/GitHubGitHub/iceman2050/chatml-role-token-probe
DefensivwerkzeugeSchwachstellenscannerSchwachstellenanalysePenetrationstestsDevSecOpsKI-Sicherheit
GitHubiceman2050/chatml-role-token-probe

chatml-role-token-probe

Feuere ChatML/Mistral/Llama-Control-Token-Literale auf deinen selbst gehosteten Agent-Stack ab und weise Rollenfälschung nach, bevor es ein Angreifer tut (CVE-2026-61732).

Teilen
Repository anzeigenWebseite
1vor 1 MonatNoch nicht geprüft

chatml-role-token-probe

Beweisen Sie, dass Ihr Agent-Stack anfällig für Rollen-Fälschung ist — bevor es ein Angreifer tut.

Eine Drop-in-Probe, die ein Korpus von ChatML-/Mistral-/Llama-Control-Token-Literalen auf den Pfad für nicht vertrauenswürdigen Text Ihres selbst gehosteten Agent-Stacks abfeuert und meldet, ob der Tokenizer oder Server sie in echte Control-Tokens umwandelt — das Primitiv hinter System-Prompt-Fälschung mittels Prompt Injection.

Warum es das gibt (Nachrichten-Anlass)

Am 2026-09-24 demonstrierte CVE-2026-61732 (CVSS 10.0) den Angriff, den dieses Tool erkennt: Die gleichen injizierten Wörter, verpackt in ChatML-Control-Tokens, wurden vom Modell ausgeführt — während die Version in einfachem Englisch abgelehnt wurde. Gehostete APIs entfernen diese Literale, aber vLLM, SGLang und Ollama entfernen sie standardmäßig NICHT — daher ist jeder selbst gehostete Stack, der nicht vertrauenswürdigen Text in Prompts einfügt, fälschbar, bis das Gegenteil bewiesen ist.

Quelle: Prompt Injection Your AI Guardrail Never Reads (AGTech Consulting, 2026-09-24).

Installation

pip install .
# --tokenizer mode additionally needs: pip install tokenizers

Erfordert Python 3.10+. Nur Standardbibliothek für --selftest und --server.

Verwendung

# 1. Demonstration: two built-in mock tokenizers
#    (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest

# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct

# 3. Probe your running server's /tokenize endpoint
#    (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
    --known-control-ids control-ids.json --json

Beispielausgabe:

Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
  [FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
  ...

Der Exit-Code ist 1, wenn irgendetwas FORGEABLE ist — binde ihn in CI ein, um Builds fehlschlagen zu lassen, die die Token-Hygiene verschlechtern.

Wie Urteile funktionieren

Für jedes Korpus-Literal (z. B. <|im_start|>system) vergleicht die Probe:

VergleichUrteil
Literal tokenisiert identisch zu seinem reinen inneren Text (system)PASS — Marker werden entfernt/ignoriert
Die isolierten Token-IDs eines Markers erscheinen innerhalb der IDs des LiteralsFORGEABLE — echtes Steuerungstoken
Anders als reiner Text, aber keine bestätigte Übereinstimmung mit einem SteuerungstokenINCONCLUSIVE — manuell prüfen

Der Korpus (src/roleprobe/corpus.json, 11 Literale) deckt ChatML (<|im_start|>, <|im_end|>), Mistral ([INST], <<SYS>>), Llama 3 (<|begin_of_text|>, <|start_header_id|>, <|eot_id|>) und bloße Rollenwörter (system:, assistant:) ab.

Hinweise zum Geltungsbereich (ehrlich)

  • --tokenizer testet nur den Tokenizer, nicht das Chat-Template oder die System-Prompt-Behandlung deines Serving-Stacks — ein PASS hier beweist nicht, dass dein bereitgestellter Endpunkt sicher ist; verwende --server gegen den echten Pfad.
  • --server benötigt einen Endpunkt, der Token-IDs offenlegt; wenn er nur Text zurückgibt, kann dieses Tool den Status als Steuerungstoken nicht bestätigen (INCONCLUSIVE).
  • Das Tokenizer-Verhalten kann sich zwischen dem Rust-Port tokenizers und dem Python-Port eines Frameworks unterscheiden — teste den exakten Stack, den du auslieferst.

Tests

PYTHONPATH=src pytest -q

Entwickelt von Ingenious AI

Teil der Ingenious AI Platform-Suite — Sicherheits-Tooling für die Ära der KI-Agenten:

  • DisclosureGuard
  • ModelMinder
  • TermsWatch
  • Vibe-Code Audit
  • Rogue-Agent Defense
  • BreachHunter
  • ChatBreaker
  • Agent Flight Recorder
  • Agent Auth Gateway
  • DomainGuard
  • ContentCraft AI

Lizenz

MIT — siehe LICENSE.

Tool herunterladen

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Das ultimative OSINT-Toolkit: Untersuchungsgraph, Konfidenzbewertung, Alias-Familien, Karte, Zeitleiste und Berichte. 49 Module, 400+ Websites, keine API-Schlüssel erforderlich.

    708
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock One-Tap Execution App (CVE-2026-43499)

    500
  • 3

    ARTEX

    baarai/artex

    LLM-basierte Multi-Agenten-Plattform für autonome Penetrationstests mit Planer-/Worker-Agenten, Asset- und Explorationsgraphen, MITM-Verkehrsaufzeichnung und Schwachstellen-Retesting.

    398
  • 4

    redforge

    cybersecurity91/redforge

    Browser-seitiges Red-Team-Toolkit mit 102 Offline-Tools für Recon, Payload-Generierung, Credential-Angriffe, Krypto, Encoding und Engagement-Reporting.

    341
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Das System der Handlung für KI-native Cybersicherheit – wo Absicht zu gesteuerter Ausführung wird, Beweise zu operativem Gedächtnis werden und jeder Einsatz den nächsten verbessert.

    259
  • 6

    antifox

    antifox-ai/antifox

    KI-Multi-Agenten-Plattform für autonome Penetrationstests, die Recon, Angriffsflächen-Erkennung, Exploit-Validierung und evidenzbasierte Berichtserstellung durchführt.

    257

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →