
Estrutura de segurança em tempo de geração para LLMs que mapeia sinais internos do modelo para regras explícitas e políticas por requisição, aplicando ações de permitir, recusar ou encerrar em runtimes Hugging Face e vLLM.
LMSM é um substrato de segurança em tempo de geração para modelos de linguagem. Ele conecta sinais internos do modelo a pequenas regras de segurança explícitas, mantém o estado da política por requisição e intermedeia apenas as requisições cujas regras ativas são acionadas.
Para o design e a avaliação completos, consulte LMSM: LLM Security Framework Inspired by Linux Security Modules.
O caminho de controle principal é:
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
Durante a geração, o LMSM associa cada linha avaliada ao seu request ID. Cada request, portanto, tem suas próprias pontuações em execução, estado de limiar e histórico de ações, mesmo quando o vLLM agrupa muitos requests em uma única passagem forward. O runtime aplica uma ação apenas às linhas selecionadas; as demais linhas continuam normalmente.
Os arquivos YAML portáveis em profiles/ definem quatro configurações prontas para uso:
| Perfil | Agendamento |
|---|---|
LMSM-Checkpoint | Agrupa o prompt e duas janelas de tokens gerados e, em seguida, avalia sua fusão calibrada no passo 64. |
LMSM-Anytime | Atualiza as pontuações do prefixo em execução a cada passo gerado e age no primeiro cruzamento. |
LMSM-Transcoder | Rastreia features calibradas do transcoder Qwen3 durante o prompt e a geração e, em seguida, age no primeiro cruzamento. |
LMSM-SAE | Rastreia features calibradas do SAE Gemma Scope durante o prompt e a geração e, em seguida, age no primeiro cruzamento. |
Checkpoint e Anytime usam sondas lineares densas padronizadas. Transcoder e SAE fornecem exemplos completos com artefatos dos outros dois tipos de backend: cada um contém seis regras semânticas independentes com suas coordenadas de features calibradas e limiares. Uma política pode ativar o conjunto completo de regras ou qualquer subconjunto sem alterar a definição do backend.
Cada perfil mantém a ordem dos targets, os detalhes do backend, a seleção de regras, o agendamento,
a composição e o mapeamento para as ações públicas allow, refuse e terminate
em um único objeto DeploymentProfile. Bindings, regras individuais, bibliotecas
de regras e policy bundles usam strings de versão simples e legíveis por humanos.
Os builders incluídos implementam os agendamentos acima. Um avaliador de política personalizado pode implementar semânticas de agendamento adicionais sobre o mesmo plano de controle e as mesmas interfaces de enforcement.
O LMSM requer Python 3.10 ou mais recente. Instale a biblioteca base e o runtime opcional que você pretende usar:
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
Para a integração offline com vLLM:
python -m pip install -e '.[hf,vllm]'
Instale o extra SAE para usar LMSM-SAE:
python -m pip install -e '.[hf,sae]'
O adaptador vLLM in-process incluído tem como alvo o vLLM 0.19.0 com um worker e tensor e pipeline parallel size 1. Ele lê o módulo de ativação, o modo de hook pré/pós e a largura oculta a partir da vinculação do backend ativo e do modelo carregado, em vez de assumir uma arquitetura de modelo específica. A integração com o Hugging Face usa os mesmos sítios de ativação selecionados pelo perfil.
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
Selecione regras independentes antes de construir o motor quando apenas parte de uma política for necessária:
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
Defina actions_enabled=False em build_transformers_engine para avaliar a
política sem alterar as respostas.
scripts/run_vllm.py aceita linhas JSONL com os campos id e prompt e
grava outputs.jsonl, actions.jsonl e timings.csv:
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
Repita --active-rule RULE_ID para executar um subconjunto de regras selecionado. Por exemplo,
--active-rule chemical_biological --active-rule cybercrime_intrusion ativa
apenas essas duas regras do perfil escolhido.
O repositório inclui a suíte de testes rápidos de CPU usada durante o desenvolvimento:
python -m pip install -e '.[dev]'
python -m pytest -q
Esses testes cobrem as interfaces da biblioteca e os contratos de perfil fornecidos.
A reprodução do benchmark de GPU está documentada separadamente em reproduction/.
O código-fonte do LMSM e a documentação de autoria do projeto usam a Licença MIT. Modelos e artefatos de backend mantêm suas próprias licenças.