Skip to content
KitploitKITPLOIT
StrumentiExploitsBlog
Log in
Invia
StrumentiExploitsBlog
Invia

Strumenti di Hacking, PenTest e Cybersecurity per il tuo Arsenale di Sicurezza!

Kitploit è una directory di strumenti di hacking, cybersecurity e pentesting. Scopri gli ultimi aggiornamenti dei progetti per trovare vulnerabilità, analizzare sistemi, automatizzare i test e rafforzare la tua sicurezza.

FeedContattoPrivacy© 2026 Kitploit

Directory degli strumenti

Categorie

Vedi tutte le categorie
Loading categories
chatml-role-token-probe — Invia literalmente token di controllo ChatML/Mistral/Llama al tuo stack di agenti self-hosted e dimostra la falsificazione dei ruoli prima che lo faccia un attaccante (CVE-2026-61732). | Kitploit
Strumenti/GitHubGitHub/iceman2050/chatml-role-token-probe
Strumenti DifensiviScanner di VulnerabilitàAnalisi delle VulnerabilitàPenetration TestingDevSecOpsSicurezza dell'IA
GitHubiceman2050/chatml-role-token-probe

chatml-role-token-probe

Condividi

Invia literalmente token di controllo ChatML/Mistral/Llama al tuo stack di agenti self-hosted e dimostra la falsificazione dei ruoli prima che lo faccia un attaccante (CVE-2026-61732).

Vedi RepositorySito web
11 mese faNon ancora revisionato

chatml-role-token-probe

Dimostra che il tuo stack di agenti è vulnerabile alla falsificazione dei ruoli — prima che lo faccia un attaccante.

Una sonda pronta all'uso che invia un corpus di letterali di token di controllo ChatML / Mistral / Llama al percorso del testo non attendibile del tuo stack di agenti self-hosted e segnala se il tokenizer o il server li trasformano in veri token di controllo — la primitiva alla base della falsificazione del system prompt tramite prompt injection.

Perché esiste (spunto di attualità)

Il 2026-09-24, CVE-2026-61732 (CVSS 10.0) ha dimostrato l'attacco che questo strumento rileva: le stesse parole iniettate, avvolte nei token di controllo ChatML, sono state eseguite dal modello — mentre la versione in inglese semplice veniva rifiutata. Le API ospitate rimuovono questi letterali, ma vLLM, SGLang e Ollama NON li rimuovono per impostazione predefinita — quindi qualsiasi stack self-hosted che concatena testo non attendibile nei prompt è falsificabile finché non si dimostri il contrario.

Fonte: Prompt Injection Your AI Guardrail Never Reads (AGTech Consulting, 2026-09-24).

Installazione

pip install .
# --tokenizer mode additionally needs: pip install tokenizers

Richiede Python 3.10+. Solo libreria standard per --selftest e --server.

Utilizzo

# 1. Demonstration: two built-in mock tokenizers
#    (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest

# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct

# 3. Probe your running server's /tokenize endpoint
#    (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
    --known-control-ids control-ids.json --json

Output di esempio:

Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
  [FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
  ...

Il codice di uscita è 1 quando qualcosa è FORGEABLE — inseriscilo nella CI per far fallire le build che regrediscono l'igiene dei token.

Come funzionano i verdetti

Per ogni letterale del corpus (ad es. <|im_start|>system) la sonda confronta:

ConfrontoVerdetto
il letterale viene tokenizzato in modo identico al suo testo interno semplice (system)PASS — marcatori rimossi/ignorati
gli id dei token isolati di un marcatore compaiono all'interno degli id del letteraleFORGEABLE — token di controllo reale
diverso dal testo semplice, ma nessuna corrispondenza confermata con un token di controlloINCONCLUSIVE — revisione manuale

Il corpus (src/roleprobe/corpus.json, 11 letterali) copre ChatML (<|im_start|>, <|im_end|>), Mistral ([INST], <<SYS>>), Llama 3 (<|begin_of_text|>, <|start_header_id|>, <|eot_id|>) e parole di ruolo nude (system:, assistant:).

Note sull'ambito (oneste)

  • --tokenizer testa solo il tokenizer, non il template di chat o la gestione del system-prompt del tuo stack di serving — un PASS qui non dimostra che il tuo endpoint distribuito sia sicuro; usa --server contro il percorso reale.
  • --server richiede che il tuo endpoint esponga gli id dei token; se restituisce solo testo, questo strumento non può confermare lo stato del token di controllo (INCONCLUSIVE).
  • Il comportamento del tokenizer può differire tra il port Rust tokenizers e il port Python di un framework — sonda esattamente lo stack che distribuisci.

Test

PYTHONPATH=src pytest -q

Realizzato da Ingenious AI

Parte della suite della piattaforma Ingenious AI — strumenti di sicurezza per l'era degli agenti AI:

  • DisclosureGuard
  • ModelMinder
  • TermsWatch
  • Vibe-Code Audit
  • Rogue-Agent Defense
  • BreachHunter
  • ChatBreaker
  • Agent Flight Recorder
  • Agent Auth Gateway
  • DomainGuard
  • ContentCraft AI

Licenza

MIT — vedi LICENSE.

Scarica lo strumento

Più Popolari

Vedi tutti →

Scopri gli strumenti più utilizzati dalla nostra community.

Nessun dato di popolarità ancora.

Esplora tutti gli strumenti

Sfoglia la nostra collezione di strumenti

Vedi tutti gli strumenti →