Skip to content
KitploitKITPLOIT
OutilsExploitsBlog
Log in
Soumettre
OutilsExploitsBlog
Soumettre

Outils de Hacking, PenTest et Cybersécurité pour votre Arsenal de Sécurité !

Kitploit est un répertoire d'outils de hacking, de cybersécurité et de pentesting. Découvrez les dernières mises à jour des projets pour trouver des vulnérabilités, analyser des systèmes, automatiser les tests et renforcer votre sécurité.

FluxContactConfidentialité© 2026 Kitploit

Répertoire d'outils

Catégories

Voir toutes les catégories
Loading categories
Outils/GitHubGitHub/iceman2050/chatml-role-token-probe
Outils DéfensifsScanners de VulnérabilitésAnalyse des VulnérabilitésTests d'IntrusionDevSecOpsSécurité de l'IA
GitHubiceman2050/chatml-role-token-probe

chatml-role-token-probe

Partager

Envoyez des littéraux de jetons de contrôle Fire ChatML/Mistral/Llama à votre pile d'agents auto-hébergée et prouvez la falsification de rôle avant qu'un attaquant ne le fasse (CVE-2026-61732).

Voir le dépôtSite web
1il y a 1 moisPas encore vérifié

chatml-role-token-probe

Prouvez que votre pile d'agents est vulnérable à la falsification de rôle — avant qu'un attaquant ne le fasse.

Une sonde prête à l'emploi qui envoie un corpus de littéraux de jetons de contrôle ChatML / Mistral / Llama vers le chemin de texte non fiable de votre pile d'agents auto-hébergée et signale si le tokenizer ou le serveur les transforme en véritables jetons de contrôle — la primitive derrière la falsification de prompt système via injection de prompt.

Pourquoi cet outil existe (actualité)

Le 2026-09-24, CVE-2026-61732 (CVSS 10.0) a démontré l'attaque que cet outil détecte : les mêmes mots injectés, enveloppés dans des jetons de contrôle ChatML, ont été exécutés par le modèle — tandis que la version en anglais courant était refusée. Les API hébergées suppriment ces littéraux, mais vLLM, SGLang et Ollama ne les suppriment PAS par défaut — ainsi, toute pile auto-hébergée qui concatène du texte non fiable dans les prompts est falsifiable tant que le contraire n'est pas prouvé.

Source : Prompt Injection Your AI Guardrail Never Reads (AGTech Consulting, 2026-09-24).

Installation

pip install .
# --tokenizer mode additionally needs: pip install tokenizers

Nécessite Python 3.10+. Bibliothèque standard uniquement pour --selftest et --server.

Utilisation

# 1. Demonstration: two built-in mock tokenizers
#    (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest

# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct

# 3. Probe your running server's /tokenize endpoint
#    (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
    --known-control-ids control-ids.json --json

Exemple de sortie :

Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
  [FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
  ...

Le code de sortie est 1 lorsque quelque chose est FORGEABLE — intégrez-le dans la CI pour faire échouer les builds qui régressent en matière d'hygiène des jetons.

Fonctionnement des verdicts

Pour chaque littéral du corpus (par ex. <|im_start|>system), la sonde compare :

ComparaisonVerdict
le littéral se tokenise à l'identique de son texte interne brut (system)PASS — marqueurs supprimés/ignorés
les ids de jetons isolés d'un marqueur apparaissent dans les ids du littéralFORGEABLE — véritable jeton de contrôle
différent du texte brut, mais aucune correspondance confirmée de jeton de contrôleINCONCLUSIVE — à examiner manuellement

Le corpus (src/roleprobe/corpus.json, 11 littéraux) couvre ChatML (<|im_start|>, <|im_end|>), Mistral ([INST], <<SYS>>), Llama 3 (<|begin_of_text|>, <|start_header_id|>, <|eot_id|>), et les mots de rôle bruts (system:, assistant:).

Notes de périmètre (honnêtes)

  • --tokenizer ne teste que le tokenizer, pas le template de chat ni la gestion du prompt système de votre pile de service — un PASS ici ne prouve pas que votre endpoint déployé est sûr ; utilisez --server contre le chemin réel.
  • --server nécessite que votre endpoint expose les ids de jetons ; s'il ne renvoie que du texte, cet outil ne peut pas confirmer le statut de jeton de contrôle (INCONCLUSIVE).
  • Le comportement du tokenizer peut différer entre le port Rust tokenizers et le port Python d'un framework — sondez la pile exacte que vous déployez.

Tests

PYTHONPATH=src pytest -q

Conçu par Ingenious AI

Fait partie de la suite de la plateforme Ingenious AI — des outils de sécurité pour l'ère des agents IA :

  • DisclosureGuard
  • ModelMinder
  • TermsWatch
  • Vibe-Code Audit
  • Rogue-Agent Defense
  • BreachHunter
  • ChatBreaker
  • Agent Flight Recorder
  • Agent Auth Gateway
  • DomainGuard
  • ContentCraft AI

Licence

MIT — voir LICENSE.

Télécharger l’outil

Populaires

Voir tout →

Découvrez les outils les plus utilisés par notre communauté.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 La boîte à outils OSINT ultime : graphe d'enquête, notation de confiance, familles d'alias, carte, chronologie et rapports. 49 modules, plus de 400 sites, aucune clé API requise.

    576
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Application d'exécution en un clic GhostLock (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    Plateforme autonome de tests d'intrusion multi-agents basée sur des LLM, avec agents planificateur/ouvrier, graphes d'actifs et d'exploration, enregistrement du trafic MITM et retest des vulnérabilités.

    388
  • 4

    redforge

    cybersecurity91/redforge

    Boîte à outils red team côté navigateur avec 102 outils hors ligne pour la reconnaissance, la génération de payloads, les attaques par identifiants, la cryptographie, l'encodage et le reporting d'engagement.

    330
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Le système d'action pour la cybersécurité native IA—où l'intention devient une exécution gouvernée, les preuves deviennent une mémoire opérationnelle, et chaque opération améliore la suivante.

    255
  • 6

    antifox

    antifox-ai/antifox

    Plateforme de test d'intrusion autonome multi-agents par IA qui exécute la reconnaissance, la découverte de la surface d'attaque, la validation de l'exploitation et la livraison de rapports étayés par des preuves.

    247

Explorer tous les outils

Parcourez notre collection d'outils

Voir tous les outils →