
Marco de seguridad en tiempo de generación para LLMs que asigna las señales internas del modelo a reglas explícitas y políticas por solicitud, aplicando acciones de permitir, rechazar o terminar en los entornos de ejecución de Hugging Face y vLLM.
LMSM es un sustrato de seguridad en tiempo de generación para modelos de lenguaje. Conecta señales internas del modelo con reglas de seguridad pequeñas y explícitas, mantiene el estado de la política por solicitud y media únicamente en las solicitudes cuyas reglas activas se activan.
Para consultar el diseño y la evaluación completos, véase LMSM: LLM Security Framework Inspired by Linux Security Modules.
La ruta de control principal es:
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
Durante la generación, LMSM asocia cada fila evaluada con su ID de solicitud. Por lo tanto, cada solicitud tiene sus propias puntuaciones en curso, estado de umbral e historial de acciones, incluso cuando vLLM empaqueta muchas solicitudes en una sola pasada forward. El runtime aplica una acción solo a las filas seleccionadas; las demás filas continúan con normalidad.
Los archivos YAML portables bajo profiles/ definen cuatro configuraciones listas para usar:
| Perfil | Programación |
|---|---|
LMSM-Checkpoint | Agrupa el prompt y dos ventanas de tokens generados, y luego evalúa su fusión calibrada en el paso 64. |
LMSM-Anytime | Actualiza las puntuaciones del prefijo en curso en cada paso generado y actúa en el primer cruce. |
LMSM-Transcoder | Rastrea las características calibradas del transcodificador Qwen3 durante el prompt y la generación, y luego actúa en el primer cruce. |
LMSM-SAE | Rastrea las características calibradas de SAE de Gemma Scope durante el prompt y la generación, y luego actúa en el primer cruce. |
Checkpoint y Anytime utilizan sondas lineales densas estandarizadas. Transcoder y SAE proporcionan ejemplos completos respaldados por artefactos de los otros dos tipos de backend: cada uno contiene seis reglas semánticas independientes con sus coordenadas de características y umbrales calibrados. Una política puede activar el conjunto completo de reglas o cualquier subconjunto sin cambiar la definición del backend.
Cada perfil mantiene el orden de los objetivos, los detalles del backend, la selección de reglas, la programación, la composición y la asignación a las acciones públicas allow, refuse y terminate en un único objeto DeploymentProfile. Las vinculaciones, las reglas individuales, las bibliotecas de reglas y los paquetes de políticas utilizan cadenas de versión simples y legibles por humanos.
Los constructores incluidos implementan las programaciones anteriores. Un evaluador de políticas personalizado puede implementar semánticas de programación adicionales contra las mismas interfaces de plano de control y de aplicación.
LMSM requiere Python 3.10 o superior. Instale la biblioteca base y el runtime opcional que pretenda utilizar:
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
Para la integración de vLLM sin conexión:
python -m pip install -e '.[hf,vllm]'
Instala el extra SAE para usar LMSM-SAE:
python -m pip install -e '.[hf,sae]'
El adaptador vLLM en proceso incluido está dirigido a vLLM 0.19.0 con un worker y tamaño de paralelismo de tensor y pipeline de 1. Lee el módulo de activación, el modo de hook pre/post y el ancho oculto del binding del backend activo y del modelo cargado, en lugar de asumir una arquitectura de modelo concreta. La integración con Hugging Face utiliza los mismos sitios de activación seleccionados por perfil.
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
Seleccione reglas independientes antes de construir el motor cuando solo se necesite una parte de una política:
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
Establece actions_enabled=False en build_transformers_engine para evaluar la
política sin cambiar las respuestas.
scripts/run_vllm.py acepta filas JSONL con los campos id y prompt y
escribe outputs.jsonl, actions.jsonl y timings.csv:
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
Repite --active-rule RULE_ID para ejecutar un subconjunto de reglas seleccionado. Por ejemplo,
--active-rule chemical_biological --active-rule cybercrime_intrusion activa
solo esas dos reglas del perfil elegido.
El repositorio incluye la suite de pruebas rápida de CPU utilizada durante el desarrollo:
python -m pip install -e '.[dev]'
python -m pytest -q
Estas pruebas cubren las interfaces de la biblioteca y los contratos de perfil proporcionados.
La reproducción del benchmark de GPU se documenta por separado en reproduction/.
El código fuente de LMSM y la documentación elaborada por el proyecto utilizan la Licencia MIT. Los modelos y los artefactos de backend conservan sus propias licencias.