
إطار عمل للسلامة عند وقت التوليد لنماذج اللغة الكبيرة (LLMs) يربط الإشارات الداخلية للنموذج بقواعد صريحة وسياسات لكل طلب، ويفرض إجراءات السماح أو الرفض أو الإنهاء في بيئات تشغيل Hugging Face وvLLM.
LMSM هو أساس أمان زمني للتوليد خاص بنماذج اللغة. يربط إشارات النموذج الداخلية بقواعد أمان صغيرة وصريحة، ويحتفظ بحالة السياسة لكل طلب، ويتوسط فقط في الطلبات التي تُفعّل قواعدها النشطة.
للاطلاع على التصميم والتقييم الكاملين، راجع LMSM: LLM Security Framework Inspired by Linux Security Modules.
مسار التحكم الأساسي هو:
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
أثناء التوليد، تربط LMSM كل صف مُقيَّم بمعرّف طلبه. وبالتالي يكون لكل طلب درجاته الجارية وحالة عتبته وسجل إجراءاته الخاصة، حتى عندما يحزم vLLM العديد من الطلبات في تمريرة أمامية واحدة. ويطبّق وقت التشغيل الإجراء على الصفوف المحددة فقط؛ بينما تستمر الصفوف الأخرى بشكل طبيعي.
تُعرّف ملفات YAML المحمولة ضمن profiles/ أربعة إعدادات جاهزة للاستخدام:
| الملف التعريفي | الجدول الزمني |
|---|---|
LMSM-Checkpoint | يجمع المُوجِّه ونافذتي رموز مُولّدة، ثم يقيّم دمجهما المُعاير عند الخطوة 64. |
LMSM-Anytime | يحدّث درجات البادئة الجارية عند كل خطوة توليد ويتصرف عند أول تجاوز. |
LMSM-Transcoder | يتتبع ميزات transcoder الخاصة بـ Qwen3 المُعايرة أثناء المُوجِّه والتوليد، ثم يتصرف عند أول تجاوز. |
LMSM-SAE | يتتبع ميزات SAE الخاصة بـ Gemma Scope المُعايرة أثناء المُوجِّه والتوليد، ثم يتصرف عند أول تجاوز. |
يستخدم Checkpoint وAnytime مسابر خطية كثيفة موحّدة. ويوفّر Transcoder وSAE أمثلة كاملة مدعومة بالقطع الأثرية لنوعي الواجهة الخلفية الآخرين: يحتوي كل منهما على ست قواعد دلالية مستقلة مع إحداثيات ميزاته المُعايرة وعتباته. ويمكن للسياسة تنشيط مجموعة القواعد الكاملة أو أي مجموعة فرعية دون تغيير تعريف الواجهة الخلفية.
يحافظ كل ملف تعريفي على ترتيب الأهداف، وتفاصيل الواجهة الخلفية، واختيار القواعد، والجدولة،
والتركيب، والتعيين إلى إجراءات allow وrefuse وterminate
العامة في كائن DeploymentProfile واحد. وتستخدم الارتباطات والقواعد الفردية ومكتبات
القواعد وحزم السياسات سلاسل إصدارات بسيطة قابلة للقراءة البشرية.
تنفّذ أدوات البناء المضمّنة الجداول الزمنية أعلاه. ويمكن لمقيّم سياسة مخصّص تنفيذ دلالات جدولة إضافية مقابل نفس واجهات مستوى التحكم والتنفيذ ذاتها.
تتطلب LMSM الإصدار 3.10 من Python أو أحدث. ثبّت المكتبة الأساسية ووقت التشغيل الاختياري الذي تنوي استخدامه:
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
لتكامل vLLM دون اتصال:
python -m pip install -e '.[hf,vllm]'
ثبّت إضافة SAE لاستخدام LMSM-SAE:
python -m pip install -e '.[hf,sae]'
محول vLLM المضمّن في العملية يستهدف vLLM 0.19.0 مع عامل واحد وحجم توازٍ للموترات وخطوط الأنابيب يساوي 1. يقرأ وحدة التنشيط، ووضع الخطاف القبلي/البعدي، والعرض المخفي من ربط الواجهة الخلفية النشط والنموذج المحمّل بدلاً من افتراض بنية نموذج معينة. يستخدم تكامل Hugging Face نفس مواقع التنشيط المختارة حسب الملف التعريفي.
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
اختر القواعد المستقلة قبل بناء المحرك عندما تكون هناك حاجة إلى جزء فقط من سياسة ما:
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
عيّن actions_enabled=False في build_transformers_engine لتقييم
السياسة دون تغيير الاستجابات.
يقبل scripts/run_vllm.py صفوف JSONL تحتوي على حقلي id وprompt ويكتب
outputs.jsonl وactions.jsonl وtimings.csv:
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
كرّر --active-rule RULE_ID لتشغيل مجموعة فرعية مختارة من القواعد. على سبيل المثال،
--active-rule chemical_biological --active-rule cybercrime_intrusion يفعّل
هاتين القاعدتين فقط من الملف الشخصي المختار.
يتضمن المستودع مجموعة اختبارات CPU السريعة المستخدمة أثناء التطوير:
python -m pip install -e '.[dev]'
python -m pytest -q
تغطي هذه الاختبارات واجهات المكتبة وعقود الملفات التعريفية المرفقة.
تُوثَّق إعادة إنتاج معيار GPU بشكل منفصل في reproduction/.
يستخدم الكود المصدري لـ LMSM والوثائق التي أعدّها المشروع ترخيص MIT. تحتفظ النماذج ومخرجات الواجهة الخلفية بتراخيصها الخاصة.