Skip to content
KitploitKITPLOIT
工具漏洞利用博客
Log in
提交
工具漏洞利用博客
提交

黑客、渗透测试和网络安全工具,武装您的安全武器库!

Kitploit 是一个黑客、网络安全和渗透测试工具的目录。发现最新的项目更新,查找漏洞、分析系统、自动化测试并加强你的安全。

订阅源联系隐私© 2026 Kitploit

工具目录

分类

查看所有分类
Loading categories
工具/GitHubGitHub/iceman2050/chatml-role-token-probe
防御工具漏洞扫描器漏洞分析渗透测试DevSecOpsAI 安全
GitHubiceman2050/chatml-role-token-probe

chatml-role-token-probe

向你的自托管 agent 栈发送 ChatML/Mistral/Llama 控制令牌字面量,在攻击者之前证明角色伪造漏洞(CVE-2026-61732)。

分享
查看仓库网站
11个月前尚未审核

chatml-role-token-probe

在攻击者之前,证明你的 agent 栈易受角色伪造攻击。

一个即插即用的探测工具,向你的自托管 agent 栈的不可信文本路径发送一批 ChatML / Mistral / Llama 控制令牌字面量,并报告分词器或服务器是否将它们转换为真正的控制令牌——这正是通过提示注入伪造系统提示的底层原语。

为什么存在(新闻背景)

在 2026-09-24,CVE-2026-61732 (CVSS 10.0) 展示了此工具所检测的攻击:相同的注入词语,被包裹在 ChatML 控制令牌中,被模型执行——而纯英文版本则被拒绝。托管 API 会剥离这些字面量,但 vLLM、SGLang 和 Ollama 默认不会剥离它们——因此,任何将不可信文本拼接到提示中的自托管栈,在被证明安全之前都是可伪造的。

来源:Prompt Injection Your AI Guardrail Never Reads(AGTech Consulting,2026-09-24)。

安装

pip install .
# --tokenizer mode additionally needs: pip install tokenizers

需要 Python 3.10+。--selftest 和 --server 仅使用标准库。

用法

# 1. Demonstration: two built-in mock tokenizers
#    (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest

# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct

# 3. Probe your running server's /tokenize endpoint
#    (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
    --known-control-ids control-ids.json --json

示例输出:

Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
  [FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
  ...

当任何内容为 FORGEABLE 时,退出码为 1——可将其接入 CI,使出现 token 卫生回归的构建失败。

判定结果的工作原理

对于每个语料字面量(例如 <|im_start|>system),探针会比较:

比较判定
字面量的分词结果与其纯内部文本(system)完全相同PASS — 标记被剥离/忽略
某个标记的独立 token id 出现在该字面量的 id 中FORGEABLE — 真实控制 token
与纯文本不同,但没有确认的控制 token 匹配INCONCLUSIVE — 需人工复核

语料(src/roleprobe/corpus.json,11 个字面量)覆盖 ChatML(<|im_start|>、<|im_end|>)、Mistral([INST]、<<SYS>>)、Llama 3(<|begin_of_text|>、<|start_header_id|>、<|eot_id|>)以及裸角色词(system:、assistant:)。

范围说明(如实说明)

  • --tokenizer 仅测试分词器,不测试你的服务栈的聊天模板或系统提示处理——此处的 PASS 并不能证明你部署的端点安全;请针对真实路径使用 --server。
  • --server 需要你的端点暴露 token id;如果它只返回文本,此工具无法确认控制 token 状态(INCONCLUSIVE)。
  • 分词器行为在 tokenizers Rust 移植版与框架的 Python 移植版之间可能不同——请探测你实际交付的精确栈。

测试

PYTHONPATH=src pytest -q

由 Ingenious AI 打造

Ingenious AI 平台套件的一部分——面向 AI 智能体时代的安全工具:

  • DisclosureGuard
  • ModelMinder
  • TermsWatch
  • Vibe-Code Audit
  • Rogue-Agent Defense
  • BreachHunter
  • ChatBreaker
  • Agent Flight Recorder
  • Agent Auth Gateway
  • DomainGuard
  • ContentCraft AI

许可证

MIT——参见 LICENSE。

下载工具

最受欢迎

查看全部 →

发现我们社区最常用的工具。

暂无热门数据。

探索所有工具

浏览我们的工具集合

查看所有工具 →