
Sicherheitsframework zur Generierungszeit für LLMs, das interne Modellsignale auf explizite Regeln und richtlinien pro Anfrage abbildet und in Hugging Face- und vLLM-Laufzeitumgebungen die Aktionen Zulassen, Ablehnen oder Beenden durchsetzt.
LMSM ist ein Sicherheitssubstrat zur Generierungszeit für Sprachmodelle. Es verbindet interne Modellsignale mit kleinen, expliziten Sicherheitsregeln, hält den Richtlinienzustand pro Anfrage und vermittelt nur bei den Anfragen, deren aktive Regeln auslösen.
Für das vollständige Design und die Evaluierung siehe LMSM: LLM Security Framework Inspired by Linux Security Modules.
Der zentrale Kontrollpfad ist:
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
Während der Generierung ordnet LMSM jede ausgewertete Zeile ihrer Request-ID zu. Jeder Request hat daher seine eigenen laufenden Scores, seinen Schwellenwertzustand und seine Aktions- historie, selbst wenn vLLM viele Requests in einem einzigen Forward-Pass bündelt. Die Laufzeit wendet eine Aktion nur auf ausgewählte Zeilen an; andere Zeilen laufen normal weiter.
Die portablen YAML-Dateien unter profiles/ definieren vier sofort einsatzbereite Konfigurationen:
| Profil | Zeitplan |
|---|---|
LMSM-Checkpoint | Fasst den Prompt und zwei Fenster generierter Token zusammen und wertet deren kalibrierte Fusion bei Schritt 64 aus. |
LMSM-Anytime | Aktualisiert die Scores des laufenden Präfixes bei jedem generierten Schritt und handelt beim ersten Überschreiten. |
LMSM-Transcoder | Verfolgt kalibrierte Qwen3-Transcoder-Features während des Prompts und der Generierung und handelt dann beim ersten Überschreiten. |
LMSM-SAE | Verfolgt kalibrierte Gemma-Scope-SAE-Features während des Prompts und der Generierung und handelt dann beim ersten Überschreiten. |
Checkpoint und Anytime verwenden standardisierte dichte lineare Probes. Transcoder und SAE liefern vollständige, artefaktgestützte Beispiele der beiden anderen Backend-Typen: Jedes enthält sechs unabhängige semantische Regeln mit seinen kalibrierten Feature-Koordinaten und Schwellenwerten. Eine Policy kann den vollständigen Regelsatz oder eine beliebige Teilmenge aktivieren, ohne die Backend-Definition zu ändern.
Jedes Profil hält Zielreihenfolge, Backend-Details, Regelauswahl, Zeitplanung,
Komposition und Zuordnung zu den öffentlichen Aktionen allow, refuse und terminate
in einem einzigen DeploymentProfile-Objekt. Bindungen, einzelne Regeln, Regel-
bibliotheken und Policy-Bundles verwenden einfache, für Menschen lesbare Versionsstrings.
Die enthaltenen Builder implementieren die oben genannten Zeitpläne. Ein benutzerdefinierter Policy- Evaluator kann zusätzliche Zeitplan-Semantiken gegen dieselben Schnittstellen der Steuerungs- ebene und der Durchsetzung implementieren.
LMSM erfordert Python 3.10 oder neuer. Installieren Sie die Basisbibliothek und die optionale Laufzeit, die Sie verwenden möchten:
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
Für die Offline-vLLM-Integration:
python -m pip install -e '.[hf,vllm]'
Installiere das SAE-Extra, um LMSM-SAE zu verwenden:
python -m pip install -e '.[hf,sae]'
Der enthaltene In-Process-vLLM-Adapter zielt auf vLLM 0.19.0 mit einem Worker und Tensor- und Pipeline-Parallelgröße 1 ab. Er liest das Aktivierungsmodul, den Pre-/Post-Hook-Modus und die Hidden-Breite aus der aktiven Backend-Bindung und dem geladenen Modell, anstatt eine bestimmte Modellarchitektur anzunehmen. Die Hugging-Face-Integration verwendet dieselben profilselektierten Aktivierungsstellen.
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
Wählen Sie unabhängige Regeln aus, bevor Sie die Engine erstellen, wenn nur ein Teil einer Richtlinie benötigt wird:
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
Setze actions_enabled=False in build_transformers_engine, um die
Policy auszuwerten, ohne Antworten zu verändern.
scripts/run_vllm.py akzeptiert JSONL-Zeilen mit den Feldern id und prompt und
schreibt outputs.jsonl, actions.jsonl und timings.csv:
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
Wiederhole --active-rule RULE_ID, um eine ausgewählte Teilmenge von Regeln auszuführen. Zum Beispiel aktiviert
--active-rule chemical_biological --active-rule cybercrime_intrusion nur diese beiden Regeln aus dem gewählten Profil.
Das Repository enthält die schnelle CPU-Testsuite, die während der Entwicklung verwendet wird:
python -m pip install -e '.[dev]'
python -m pytest -q
Diese Tests decken die Bibliotheksschnittstellen und die bereitgestellten Profilverträge ab.
Die Reproduktion des GPU-Benchmarks ist separat in reproduction/ dokumentiert.
Der LMSM-Quellcode und die vom Projekt verfasste Dokumentation verwenden die MIT-Lizenz. Modelle und Backend-Artefakte behalten ihre eigenen Lizenzen.