Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
chatml-role-token-probe — Отправляйте литералы управляющих токенов ChatML/Mistral/Llama в свой стек самостоятельно размещённых агентов и докажите подделку ролей раньше, чем это сделает атакующий (CVE-2026-61732). | Kitploit
Инструменты/GitHubGitHub/iceman2050/chatml-role-token-probe
Оборонительные ИнструментыСканеры уязвимостейАнализ уязвимостейТестирование на ПроникновениеDevSecOpsБезопасность ИИ
GitHubiceman2050/chatml-role-token-probe

chatml-role-token-probe

Поделиться

Отправляйте литералы управляющих токенов ChatML/Mistral/Llama в свой стек самостоятельно размещённых агентов и докажите подделку ролей раньше, чем это сделает атакующий (CVE-2026-61732).

РепозиторийСайт
11 месяц назадЕщё не проверено

chatml-role-token-probe

Докажите, что ваш агентский стек уязвим к подделке ролей — раньше, чем это сделает атакующий.

Готовый к использованию зонд, который отправляет корпус литералов управляющих токенов ChatML / Mistral / Llama на путь недоверенного текста вашего самостоятельно размещённого агентского стека и сообщает, превращает ли их токенизатор или сервер в настоящие управляющие токены — примитив, лежащий в основе подделки системного промпта через prompt injection.

Зачем это нужно (новостной повод)

2026-09-24 CVE-2026-61732 (CVSS 10.0) продемонстрировал атаку, которую обнаруживает этот инструмент: те же самые внедрённые слова, обёрнутые в управляющие токены ChatML, были исполнены моделью — тогда как версия на простом английском была отклонена. Хостинговые API удаляют эти литералы, но vLLM, SGLang и Ollama НЕ удаляют их по умолчанию — поэтому любой самостоятельно размещённый стек, который конкатенирует недоверенный текст в промпты, поддаётся подделке, пока не доказано обратное.

Источник: Prompt Injection Your AI Guardrail Never Reads (AGTech Consulting, 2026-09-24).

Установка

pip install .
# --tokenizer mode additionally needs: pip install tokenizers

Требуется Python 3.10+. Только стандартная библиотека для --selftest и --server.

Использование

# 1. Demonstration: two built-in mock tokenizers
#    (hardened stripper -> all PASS, naive passthrough -> all FORGEABLE)
chatml-role-token-probe probe --selftest

# 2. Probe a real Hugging Face tokenizer
chatml-role-token-probe probe --tokenizer meta-llama/Meta-Llama-3-8B-Instruct

# 3. Probe your running server's /tokenize endpoint
#    (POST {"text": ...} -> JSON {"ids": [...]})
chatml-role-token-probe probe --server http://localhost:8000/tokenize
chatml-role-token-probe probe --server http://localhost:8000/tokenize \
    --known-control-ids control-ids.json --json

Пример вывода:

Probed 11 control-token literals: 11 FORGEABLE, 0 PASS/INCONCLUSIVE.
  [FORGEABLE] llama_bot_eot (llama3): marker '<|start_header_id|>' encodes to control token ids [128006] inside the literal.
  ...

Код выхода равен 1, когда что-либо FORGEABLE — встраивайте проверку в CI, чтобы сборки падали при регрессии гигиены токенов.

Как работают вердикты

Для каждого литерала корпуса (например, <|im_start|>system) проба сравнивает:

СравнениеВердикт
литерал токенизируется идентично своему простому внутреннему тексту (system)PASS — маркеры удалены/игнорируются
изолированные token ids маркера присутствуют внутри ids литералаFORGEABLE — настоящий управляющий токен
отличается от простого текста, но подтверждённого совпадения управляющего токена нетINCONCLUSIVE — проверьте вручную

Корпус (src/roleprobe/corpus.json, 11 литералов) охватывает ChatML (<|im_start|>, <|im_end|>), Mistral ([INST], <<SYS>>), Llama 3 (<|begin_of_text|>, <|start_header_id|>, <|eot_id|>) и голые слова ролей (system:, assistant:).

Замечания об области действия (честно)

  • --tokenizer проверяет только токенизатор, а не chat template или обработку system-prompt вашего стека обслуживания — PASS здесь не доказывает, что ваш развёрнутый endpoint безопасен; используйте --server против реального пути.
  • --server требует, чтобы ваш endpoint предоставлял token ids; если он возвращает только текст, этот инструмент не может подтвердить статус управляющего токена (INCONCLUSIVE).
  • Поведение токенизатора может различаться между Rust-портом tokenizers и Python-портом фреймворка — проверяйте именно тот стек, который вы поставляете.

Тесты

PYTHONPATH=src pytest -q

Создано Ingenious AI

Часть линейки платформы Ingenious AI — инструменты безопасности для эпохи AI-агентов:

  • DisclosureGuard
  • ModelMinder
  • TermsWatch
  • Vibe-Code Audit
  • Rogue-Agent Defense
  • BreachHunter
  • ChatBreaker
  • Agent Flight Recorder
  • Agent Auth Gateway
  • DomainGuard
  • ContentCraft AI

Лицензия

MIT — см. LICENSE.

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Полный набор инструментов OSINT: граф расследования, оценка достоверности, семейства псевдонимов, карта, временная шкала и отчёты. 49 модулей, более 400 сайтов, API-ключи не требуются.

    786
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Приложение GhostLock с запуском в один клик (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    Платформа автономного тестирования на проникновение на основе мультиагентной LLM с агентами-планировщиками и агентами-исполнителями, графами активов и исследования, записью MITM-трафика и повторной проверкой уязвимостей.

    429
  • 4

    redforge

    cybersecurity91/redforge

    Браузерный инструментарий для red team с 102 офлайн-инструментами для разведки, генерации полезной нагрузки, атак на учётные данные, криптографии, кодирования и отчётности по проектам.

    345
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Система действий для кибербезопасности на базе ИИ — где намерение превращается в управляемое исполнение, доказательства становятся оперативной памятью, а каждая операция улучшает следующую.

    262
  • 6

    looking-glass

    anonghosty/looking-glass

    Платформа CSIRT, которая загружает отчёты Shadowserver в MongoDB и воспроизводит их в виде интерактивных карт, аналитики, результатов, рекомендаций и исполнительных дашбордов.

    256

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →