LMSM 是面向语言模型的生成时安全基座。它将模型内部信号与小型、显式的安全规则相连接,按请求维护策略状态,并且只对激活规则触发的请求进行调解。
有关完整的设计与评估,请参见 LMSM: LLM Security Framework Inspired by Linux Security Modules。
核心控制路径为:
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
在生成过程中,LMSM 将每个被评估的行与其请求 ID 关联。因此,即使 vLLM 将许多请求打包进一次前向传播,每个请求也拥有各自的运行分数、阈值状态和动作 历史。运行时仅对选定的行应用动作;其他行正常继续。
profiles/ 下的可移植 YAML 文件定义了四种即用型配置:
| 配置文件 | 调度 |
|---|---|
LMSM-Checkpoint | 汇集提示词和两个生成 token 窗口,然后在第 64 步评估其校准融合结果。 |
LMSM-Anytime | 在每个生成步骤更新运行前缀分数,并在首次越界时采取动作。 |
LMSM-Transcoder | 在提示词和生成期间跟踪校准的 Qwen3 transcoder 特征,然后在首次越界时采取动作。 |
LMSM-SAE | 在提示词和生成期间跟踪校准的 Gemma Scope SAE 特征,然后在首次越界时采取动作。 |
Checkpoint 和 Anytime 使用标准化的稠密线性探针。 Transcoder 和 SAE 提供了另外两种后端类型的完整、由工件支持的示例: 每个都包含六条独立的语义规则及其校准的特征坐标和阈值。策略可以激活完整规则集或 任意子集,而无需更改后端定义。
每个配置文件都将目标顺序、后端细节、规则选择、调度、
组合以及到公共 allow、refuse 和 terminate
动作的映射保存在一个 DeploymentProfile 对象中。绑定、单个规则、规则
库和策略包使用简单的人类可读版本字符串。
包含的构建器实现了上述调度。自定义策略 评估器可以针对相同的控制 平面和执行接口实现额外的调度语义。
LMSM 需要 Python 3.10 或更高版本。安装基础库以及你打算使用的可选 运行时:
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
对于离线 vLLM 集成:
python -m pip install -e '.[hf,vllm]'
安装 SAE 扩展以使用 LMSM-SAE:
python -m pip install -e '.[hf,sae]'
内置的进程内 vLLM 适配器面向 vLLM 0.19.0,使用单个 worker,张量并行和流水线并行大小均为 1。它从当前激活的后端绑定和已加载模型中读取激活模块、前/后钩子模式以及隐藏层宽度,而不是假定某种特定的模型架构。Hugging Face 集成使用相同的由 profile 选定的激活位置。
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
当只需要策略的一部分时,在构建引擎之前先选择独立的规则:
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
在 build_transformers_engine 中设置 actions_enabled=False,以便在不改变响应的情况下评估策略。
scripts/run_vllm.py 接受包含 id 和 prompt 字段的 JSONL 行,并写入 outputs.jsonl、actions.jsonl 和 timings.csv:
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
重复 --active-rule RULE_ID 以运行选定的规则子集。例如,--active-rule chemical_biological --active-rule cybercrime_intrusion 仅激活所选配置文件中的这两条规则。
该仓库包含开发期间使用的快速 CPU 测试套件:
python -m pip install -e '.[dev]'
python -m pytest -q
这些测试覆盖库接口以及所提供的配置文件约定。
GPU 基准复现单独记录在 reproduction/ 中。
LMSM 源代码及项目编写的文档采用 MIT 许可证。 模型和后端产物保留各自的许可证。