
Framework di sicurezza in fase di generazione per LLM che mappa i segnali interni del modello su regole esplicite e policy per singola richiesta, applicando azioni di autorizzazione, rifiuto o terminazione nei runtime Hugging Face e vLLM.
LMSM è un substrato di sicurezza in fase di generazione per i modelli linguistici. Collega i segnali interni del modello a piccole regole di sicurezza esplicite, mantiene lo stato della policy per richiesta e media solo le richieste le cui regole attive si attivano.
Per il design e la valutazione completi, vedere LMSM: LLM Security Framework Inspired by Linux Security Modules.
Il percorso di controllo principale è:
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
Durante la generazione, LMSM associa ogni riga valutata al suo request ID. Ogni richiesta ha quindi i propri punteggi correnti, stato delle soglie e cronologia delle azioni anche quando vLLM raggruppa molte richieste in un unico forward pass. Il runtime applica un'azione solo alle righe selezionate; le altre righe continuano normalmente.
I file YAML portabili sotto profiles/ definiscono quattro configurazioni pronte all'uso:
| Profilo | Pianificazione |
|---|---|
LMSM-Checkpoint | Raggruppa il prompt e due finestre di token generati, quindi valuta la loro fusione calibrata al passo 64. |
LMSM-Anytime | Aggiorna i punteggi del prefisso corrente a ogni passo generato e agisce al primo superamento. |
LMSM-Transcoder | Traccia le feature calibrate del transcoder Qwen3 durante il prompt e la generazione, quindi agisce al primo superamento. |
LMSM-SAE | Traccia le feature calibrate SAE di Gemma Scope durante il prompt e la generazione, quindi agisce al primo superamento. |
Checkpoint e Anytime utilizzano dense linear probe standardizzati. Transcoder e SAE forniscono esempi completi basati su artefatti degli altri due tipi di backend: ciascuno contiene sei regole semantiche indipendenti con le relative coordinate di feature calibrate e soglie. Una policy può attivare l'intero set di regole o qualsiasi sottoinsieme senza modificare la definizione del backend.
Ogni profilo mantiene l'ordine dei target, i dettagli del backend, la selezione delle regole, la pianificazione,
la composizione e la mappatura verso le azioni pubbliche allow, refuse e terminate
in un unico oggetto DeploymentProfile. Binding, singole regole, librerie
di regole e policy bundle utilizzano semplici stringhe di versione leggibili dall'uomo.
I builder inclusi implementano le pianificazioni sopra descritte. Un valutatore di policy personalizzato può implementare semantiche di pianificazione aggiuntive rispetto agli stessi interfacce di piano di controllo e di enforcement.
LMSM richiede Python 3.10 o versioni successive. Installare la libreria di base e il runtime opzionale che si intende utilizzare:
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
Per l'integrazione offline di vLLM:
python -m pip install -e '.[hf,vllm]'
Installa l'extra SAE per usare LMSM-SAE:
python -m pip install -e '.[hf,sae]'
L'adattatore vLLM in-process incluso è destinato a vLLM 0.19.0 con un worker e dimensione di parallelismo tensoriale e pipeline pari a 1. Legge il modulo di attivazione, la modalità hook pre/post e la larghezza nascosta dal binding del backend attivo e dal modello caricato, anziché presumere una particolare architettura del modello. L'integrazione con Hugging Face utilizza gli stessi siti di attivazione selezionati dal profilo.
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
Seleziona regole indipendenti prima di costruire il motore quando è necessaria solo una parte di una policy:
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
Imposta actions_enabled=False in build_transformers_engine per valutare la
policy senza modificare le risposte.
scripts/run_vllm.py accetta righe JSONL con i campi id e prompt e
scrive outputs.jsonl, actions.jsonl e timings.csv:
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
Ripeti --active-rule RULE_ID per eseguire un sottoinsieme di regole selezionato. Ad esempio,
--active-rule chemical_biological --active-rule cybercrime_intrusion attiva
solo quelle due regole dal profilo scelto.
Il repository include la suite di test CPU veloce utilizzata durante lo sviluppo:
python -m pip install -e '.[dev]'
python -m pytest -q
Questi test coprono le interfacce della libreria e i contratti dei profili forniti.
La riproduzione del benchmark GPU è documentata separatamente in reproduction/.
Il codice sorgente di LMSM e la documentazione redatta dal progetto utilizzano la Licenza MIT. I modelli e gli artefatti dei backend mantengono le proprie licenze.