
Фреймворк безопасности времени генерации для LLM, который сопоставляет внутренние сигналы модели с явными правилами и политиками для каждого запроса, обеспечивая выполнение действий разрешения, отказа или завершения в средах Hugging Face и vLLM.
LMSM — это защитная подложка времени генерации для языковых моделей. Она связывает внутренние сигналы модели с небольшими явными правилами безопасности, хранит состояние политики для каждого запроса и опосредует только те запросы, для которых срабатывают активные правила.
Полное описание архитектуры и оценки см. в LMSM: LLM Security Framework Inspired by Linux Security Modules.
Основной путь управления:
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
Во время генерации LMSM связывает каждую оцениваемую строку с её идентификатором запроса. Таким образом, каждый запрос имеет собственные текущие оценки, состояние порогов и историю действий, даже когда vLLM упаковывает множество запросов в один прямой проход. Среда выполнения применяет действие только к выбранным строкам; остальные строки продолжают обрабатываться обычным образом.
Переносимые YAML-файлы в profiles/ определяют четыре готовые к использованию конфигурации:
| Профиль | График |
|---|---|
LMSM-Checkpoint | Объединяет промпт и два окна сгенерированных токенов, затем оценивает их калиброванное слияние на шаге 64. |
LMSM-Anytime | Обновляет оценки текущего префикса на каждом шаге генерации и действует при первом пересечении. |
LMSM-Transcoder | Отслеживает калиброванные признаки транскодера Qwen3 во время промпта и генерации, затем действует при первом пересечении. |
LMSM-SAE | Отслеживает калиброванные признаки SAE Gemma Scope во время промпта и генерации, затем действует при первом пересечении. |
Checkpoint и Anytime используют стандартизированные плотные линейные пробники. Transcoder и SAE предоставляют полные примеры с артефактами для двух других типов бэкендов: каждый содержит шесть независимых семантических правил с калиброванными координатами признаков и порогами. Политика может активировать полный набор правил или любое его подмножество, не изменяя определение бэкенда.
Каждый профиль хранит порядок целей, сведения о бэкенде, выбор правил, планирование,
композицию и отображение в публичные действия allow, refuse и terminate
в одном объекте DeploymentProfile. Привязки, отдельные правила, библиотеки правил
и пакеты политик используют простые человекочитаемые строки версий.
Включённые сборщики реализуют графики, описанные выше. Пользовательский оценщик политик может реализовать дополнительную семантику графиков на основе тех же интерфейсов управляющего уровня и принудительного применения.
LMSM требует Python 3.10 или новее. Установите базовую библиотеку и дополнительную среду выполнения, которую вы собираетесь использовать:
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
Для офлайн-интеграции с vLLM:
python -m pip install -e '.[hf,vllm]'
Установите дополнение SAE, чтобы использовать LMSM-SAE:
python -m pip install -e '.[hf,sae]'
Встроенный адаптер vLLM, входящий в комплект, рассчитан на vLLM 0.19.0 с одним рабочим процессом и размером tensor и pipeline parallel, равным 1. Он считывает модуль активации, режим pre/post hook и скрытую ширину из активной привязки бэкенда и загруженной модели, а не предполагает конкретную архитектуру модели. Интеграция с Hugging Face использует те же выбранные профилем точки активации.
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
Выбирайте независимые правила перед построением движка, когда нужна только часть политики:
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
Задайте actions_enabled=False в build_transformers_engine, чтобы оценить
политику без изменения ответов.
scripts/run_vllm.py принимает строки JSONL с полями id и prompt и
записывает outputs.jsonl, actions.jsonl и timings.csv:
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
Повторите --active-rule RULE_ID, чтобы запустить выбранное подмножество правил. Например,
--active-rule chemical_biological --active-rule cybercrime_intrusion активирует
только эти два правила из выбранного профиля.
Репозиторий включает быстрый набор тестов для CPU, использовавшийся во время разработки:
python -m pip install -e '.[dev]'
python -m pytest -q
Эти тесты охватывают интерфейсы библиотеки и предоставленные контракты профилей.
Воспроизведение GPU-бенчмарка описано отдельно в reproduction/.
Исходный код LMSM и документация, созданная в рамках проекта, распространяются по лицензии MIT. Модели и артефакты бэкендов сохраняют собственные лицензии.