
Framework de sécurité au moment de la génération pour les LLM qui associe les signaux internes du modèle à des règles explicites et à des politiques par requête, en appliquant des actions d'autorisation, de refus ou de terminaison dans les environnements d'exécution Hugging Face et vLLM.
LMSM est un substrat de sécurité au moment de la génération pour les modèles de langage. Il connecte les signaux internes du modèle à de petites règles de sécurité explicites, conserve l'état de la politique par requête, et n'intervient que sur les requêtes dont les règles actives se déclenchent.
Pour la conception et l'évaluation complètes, voir LMSM: LLM Security Framework Inspired by Linux Security Modules.
Le chemin de contrôle principal est :
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
Pendant la génération, LMSM associe chaque ligne évaluée à son ID de requête. Chaque requête dispose donc de ses propres scores courants, de son état de seuil et de son historique d'actions, même lorsque vLLM regroupe de nombreuses requêtes dans une seule passe avant. L'exécution n'applique une action qu'aux lignes sélectionnées ; les autres lignes continuent normalement.
Les fichiers YAML portables sous profiles/ définissent quatre configurations prêtes à l'emploi :
| Profil | Planification |
|---|---|
LMSM-Checkpoint | Regroupe le prompt et deux fenêtres de tokens générés, puis évalue leur fusion calibrée à l'étape 64. |
LMSM-Anytime | Met à jour les scores de préfixe courant à chaque étape générée et agit au premier franchissement. |
LMSM-Transcoder | Suit les caractéristiques calibrées du transcodeur Qwen3 pendant le prompt et la génération, puis agit au premier franchissement. |
LMSM-SAE | Suit les caractéristiques calibrées du SAE Gemma Scope pendant le prompt et la génération, puis agit au premier franchissement. |
Checkpoint et Anytime utilisent des sondes linéaires denses standardisées. Transcoder et SAE fournissent des exemples complets adossés à des artefacts des deux autres types de backend : chacun contient six règles sémantiques indépendantes avec leurs coordonnées de caractéristiques calibrées et leurs seuils. Une politique peut activer l'ensemble complet de règles ou n'importe quel sous-ensemble sans modifier la définition du backend.
Chaque profil conserve l'ordre des cibles, les détails du backend, la sélection des règles, la planification,
la composition et le mappage vers les actions publiques allow, refuse et terminate
dans un seul objet DeploymentProfile. Les liaisons, les règles individuelles, les bibliothèques
de règles et les bundles de politiques utilisent de simples chaînes de version lisibles par l'humain.
Les constructeurs inclus implémentent les planifications ci-dessus. Un évaluateur de politique personnalisé peut implémenter des sémantiques de planification supplémentaires sur les mêmes interfaces de plan de contrôle et d'application.
LMSM nécessite Python 3.10 ou une version plus récente. Installez la bibliothèque de base et l'environnement d'exécution optionnel que vous souhaitez utiliser :
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
Pour l'intégration vLLM hors ligne :
python -m pip install -e '.[hf,vllm]'
Installez l'extra SAE pour utiliser LMSM-SAE :
python -m pip install -e '.[hf,sae]'
L'adaptateur vLLM in-process inclus cible vLLM 0.19.0 avec un seul worker et une taille de parallélisme tensoriel et pipeline de 1. Il lit le module d'activation, le mode de hook pré/post et la largeur cachée à partir de la liaison de backend active et du modèle chargé plutôt que de supposer une architecture de modèle particulière. L'intégration Hugging Face utilise les mêmes sites d'activation sélectionnés par profil.
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
Sélectionnez des règles indépendantes avant de construire le moteur lorsque seule une partie d'une politique est nécessaire :
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
Définissez actions_enabled=False dans build_transformers_engine pour évaluer la
politique sans modifier les réponses.
scripts/run_vllm.py accepte des lignes JSONL avec les champs id et prompt et
écrit outputs.jsonl, actions.jsonl et timings.csv :
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
Répétez --active-rule RULE_ID pour exécuter un sous-ensemble de règles sélectionné. Par exemple,
--active-rule chemical_biological --active-rule cybercrime_intrusion active
uniquement ces deux règles du profil choisi.
Le dépôt inclut la suite de tests CPU rapide utilisée pendant le développement :
python -m pip install -e '.[dev]'
python -m pytest -q
Ces tests couvrent les interfaces de la bibliothèque et les contrats de profil fournis.
La reproduction des benchmarks GPU est documentée séparément dans reproduction/.
Le code source de LMSM et la documentation rédigée par le projet utilisent la licence MIT. Les modèles et les artefacts backend conservent leurs propres licences.