
LLMs के लिए जनरेशन-टाइम सुरक्षा फ्रेमवर्क जो आंतरिक मॉडल सिग्नल्स को स्पष्ट नियमों और प्रति-अनुरोध नीतियों से मैप करता है, और Hugging Face तथा vLLM रनटाइम्स में allow, refuse, या terminate क्रियाओं को लागू करता है।
LMSM भाषा मॉडलों के लिए एक जनरेशन-टाइम सुरक्षा सबस्ट्रेट है। यह मॉडल के आंतरिक संकेतों को छोटे, स्पष्ट सुरक्षा नियमों से जोड़ता है, प्रत्येक अनुरोध के लिए नीति स्थिति बनाए रखता है, और केवल उन्हीं अनुरोधों में मध्यस्थता करता है जिनके सक्रिय नियम ट्रिगर होते हैं।
पूर्ण डिज़ाइन और मूल्यांकन के लिए, देखें LMSM: LLM Security Framework Inspired by Linux Security Modules।
मुख्य नियंत्रण पथ है:
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
जनरेशन के दौरान, LMSM प्रत्येक मूल्यांकित पंक्ति को उसकी request ID के साथ जोड़ता है। इसलिए प्रत्येक request के अपने चल रहे स्कोर, थ्रेशोल्ड स्थिति, और क्रिया इतिहास होते हैं, भले ही vLLM कई requests को एक ही forward pass में पैक करता है। रनटाइम क्रिया केवल चयनित पंक्तियों पर लागू करता है; अन्य पंक्तियाँ सामान्य रूप से जारी रहती हैं।
profiles/ के अंतर्गत पोर्टेबल YAML फ़ाइलें चार तैयार-उपयोग कॉन्फ़िगरेशन परिभाषित करती हैं:
| प्रोफ़ाइल | शेड्यूल |
|---|---|
LMSM-Checkpoint | प्रॉम्प्ट और दो जनरेट किए गए टोकन विंडो को पूल करता है, फिर चरण 64 पर उनके कैलिब्रेटेड फ्यूज़न का मूल्यांकन करता है। |
LMSM-Anytime | प्रत्येक जनरेट किए गए चरण पर चल रहे-प्रीफ़िक्स स्कोर अपडेट करता है और पहले क्रॉसिंग पर कार्य करता है। |
LMSM-Transcoder | प्रॉम्प्ट और जनरेशन के दौरान कैलिब्रेटेड Qwen3 transcoder फ़ीचर ट्रैक करता है, फिर पहले क्रॉसिंग पर कार्य करता है। |
LMSM-SAE | प्रॉम्प्ट और जनरेशन के दौरान कैलिब्रेटेड Gemma Scope SAE फ़ीचर ट्रैक करता है, फिर पहले क्रॉसिंग पर कार्य करता है। |
Checkpoint और Anytime मानकीकृत dense linear probes का उपयोग करते हैं। Transcoder और SAE अन्य दो बैकएंड प्रकारों के पूर्ण artifact-समर्थित उदाहरण प्रदान करते हैं: प्रत्येक में अपने कैलिब्रेटेड फ़ीचर निर्देशांक और थ्रेशोल्ड के साथ छह स्वतंत्र सिमेंटिक नियम होते हैं। एक पॉलिसी बैकएंड परिभाषा को बदले बिना पूरे नियम सेट या किसी भी उपसमुच्चय को सक्रिय कर सकती है।
प्रत्येक प्रोफ़ाइल लक्ष्य क्रम, बैकएंड विवरण, नियम चयन, शेड्यूलिंग,
संयोजन, और सार्वजनिक allow, refuse, और terminate
क्रियाओं तक के मैपिंग को एक DeploymentProfile ऑब्जेक्ट में रखता है। बाइंडिंग, व्यक्तिगत नियम, नियम
लाइब्रेरी, और पॉलिसी बंडल सरल मानव-पठनीय संस्करण स्ट्रिंग्स का उपयोग करते हैं।
शामिल बिल्डर उपरोक्त शेड्यूल लागू करते हैं। एक कस्टम पॉलिसी मूल्यांकनकर्ता उन्हीं कंट्रोल प्लेन और प्रवर्तन इंटरफ़ेस के विरुद्ध अतिरिक्त शेड्यूल सेमांटिक्स लागू कर सकता है।
LMSM के लिए Python 3.10 या नया आवश्यक है। बेस लाइब्रेरी और वह वैकल्पिक रनटाइम इंस्टॉल करें जिसका आप उपयोग करना चाहते हैं:
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
ऑफ़लाइन vLLM एकीकरण के लिए:
python -m pip install -e '.[hf,vllm]'
LMSM-SAE का उपयोग करने के लिए SAE extra इंस्टॉल करें:
python -m pip install -e '.[hf,sae]'
शामिल इन-प्रोसेस vLLM अडैप्टर vLLM 0.19.0 को एक वर्कर और टेंसर तथा पाइपलाइन समानांतर आकार 1 के साथ लक्षित करता है। यह सक्रिय बैकएंड बाइंडिंग और लोड किए गए मॉडल से एक्टिवेशन मॉड्यूल, प्री/पोस्ट हुक मोड, और हिडन चौड़ाई पढ़ता है, बजाय किसी विशेष मॉडल आर्किटेक्चर को मानने के। Hugging Face इंटीग्रेशन उन्हीं प्रोफ़ाइल-चयनित एक्टिवेशन साइट्स का उपयोग करता है।
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
जब किसी नीति का केवल एक भाग आवश्यक हो, तो इंजन बनाने से पहले स्वतंत्र नियम चुनें:
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
प्रतिक्रियाओं को बदले बिना नीति का मूल्यांकन करने के लिए build_transformers_engine में actions_enabled=False सेट करें।
scripts/run_vllm.py id और prompt फ़ील्ड वाली JSONL पंक्तियाँ स्वीकार करता है और
outputs.jsonl, actions.jsonl, और timings.csv लिखता है:
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
चयनित नियम सबसेट चलाने के लिए --active-rule RULE_ID को दोहराएँ। उदाहरण के लिए,
--active-rule chemical_biological --active-rule cybercrime_intrusion चयनित प्रोफ़ाइल से
केवल उन दो नियमों को सक्रिय करता है।
रिपॉज़िटरी में विकास के दौरान उपयोग किया गया तेज़ CPU परीक्षण सूट शामिल है:
python -m pip install -e '.[dev]'
python -m pytest -q
ये परीक्षण लाइब्रेरी इंटरफ़ेस और प्रदान किए गए प्रोफ़ाइल अनुबंधों को कवर करते हैं।
GPU बेंचमार्क पुनरुत्पादन का दस्तावेज़ीकरण अलग से reproduction/ में किया गया है।
LMSM स्रोत कोड और परियोजना द्वारा लिखित दस्तावेज़ीकरण MIT लाइसेंस का उपयोग करते हैं। मॉडल और बैकएंड आर्टिफ़ैक्ट्स अपने स्वयं के लाइसेंस बनाए रखते हैं।