
LLM을 위한 생성 시점 안전 프레임워크로, 내부 모델 신호를 명시적 규칙 및 요청별 정책에 매핑하여 Hugging Face 및 vLLM 런타임에서 허용, 거부 또는 종료 조치를 시행합니다.
LMSM은 언어 모델을 위한 생성 시점 안전 기반(safety substrate)입니다. 내부 모델 신호를 작고 명시적인 안전 규칙에 연결하고, 요청별로 정책 상태를 유지하며, 활성 규칙이 트리거되는 요청만 중재합니다.
전체 설계와 평가는 LMSM: LLM Security Framework Inspired by Linux Security Modules를 참조하십시오.
핵심 제어 경로는 다음과 같습니다:
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
생성 과정에서 LMSM은 평가된 모든 행을 해당 요청 ID와 연결합니다. 따라서 vLLM이 여러 요청을 하나의 forward pass에 묶더라도 각 요청은 자체적인 실행 점수, 임계값 상태, 액션 이력을 갖습니다. 런타임은 선택된 행에만 액션을 적용하며, 다른 행은 정상적으로 계속 진행됩니다.
profiles/ 아래의 이식 가능한 YAML 파일들은 네 가지 바로 사용 가능한 구성을 정의합니다:
| 프로필 | 스케줄 |
|---|---|
LMSM-Checkpoint | 프롬프트와 두 개의 생성 토큰 윈도를 풀링한 뒤, 64단계에서 이들의 보정된 융합을 평가합니다. |
LMSM-Anytime | 생성되는 매 단계마다 실행 접두사 점수를 갱신하고, 처음 임계값을 넘는 시점에 작동합니다. |
LMSM-Transcoder | 프롬프트 및 생성 과정에서 보정된 Qwen3 transcoder 특징을 추적한 뒤, 처음 임계값을 넘는 시점에 작동합니다. |
LMSM-SAE | 프롬프트 및 생성 과정에서 보정된 Gemma Scope SAE 특징을 추적한 뒤, 처음 임계값을 넘는 시점에 작동합니다. |
Checkpoint와 Anytime은 표준화된 dense 선형 probe를 사용합니다. Transcoder와 SAE는 나머지 두 백엔드 유형에 대한 완전한 아티팩트 기반 예제를 제공합니다: 각각은 보정된 특징 좌표와 임계값을 가진 여섯 개의 독립적인 의미 규칙을 포함합니다. 정책은 백엔드 정의를 변경하지 않고 전체 규칙 집합 또는 임의의 부분 집합을 활성화할 수 있습니다.
각 프로필은 target 순서, 백엔드 세부 정보, 규칙 선택, 스케줄링, 조합, 그리고 공개 allow, refuse, terminate 액션으로의 매핑을 하나의 DeploymentProfile 객체에 담아 유지합니다. 바인딩, 개별 규칙, 규칙 라이브러리, 정책 번들은 사람이 읽을 수 있는 간단한 버전 문자열을 사용합니다.
포함된 빌더들은 위의 스케줄을 구현합니다. 사용자 정의 정책 평가기는 동일한 제어 평면 및 적용 인터페이스에 대해 추가적인 스케줄 의미 체계를 구현할 수 있습니다.
LMSM은 Python 3.10 이상이 필요합니다. 기본 라이브러리와 사용하려는 선택적 런타임을 설치하십시오:
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
오프라인 vLLM 통합의 경우:
python -m pip install -e '.[hf,vllm]'
LMSM-SAE을 사용하려면 SAE extra를 설치하세요:
python -m pip install -e '.[hf,sae]'
포함된 인프로세스 vLLM 어댑터는 워커 1개와 텐서 및 파이프라인 병렬 크기 1을 사용하는 vLLM 0.19.0을 대상으로 합니다. 이 어댑터는 특정 모델 아키텍처를 가정하지 않고, 활성 백엔드 바인딩과 로드된 모델로부터 활성화 모듈, pre/post 훅 모드, 히든 너비를 읽습니다. Hugging Face 통합은 동일한 프로필 선택 활성화 지점을 사용합니다.
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
정책의 일부만 필요할 때 엔진을 구축하기 전에 독립적인 규칙을 선택하십시오:
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
build_transformers_engine에서 actions_enabled=False을 설정하면 응답을 변경하지 않고 정책을 평가합니다.
scripts/run_vllm.py는 id 및 prompt 필드가 포함된 JSONL 행을 받아 outputs.jsonl, actions.jsonl, timings.csv을 기록합니다:
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
--active-rule RULE_ID를 반복하면 선택한 규칙 하위 집합을 실행합니다. 예를 들어,
--active-rule chemical_biological --active-rule cybercrime_intrusion은 선택한 프로필에서 해당 두 규칙만
활성화합니다.
저장소에는 개발 중에 사용되는 빠른 CPU 테스트 스위트가 포함되어 있습니다:
python -m pip install -e '.[dev]'
python -m pytest -q
이 테스트들은 라이브러리 인터페이스와 제공된 프로필 계약을 다룹니다.
GPU 벤치마크 재현은 reproduction/에 별도로 문서화되어 있습니다.
LMSM 소스 코드와 프로젝트에서 작성한 문서는 MIT 라이선스를 사용합니다. 모델과 백엔드 아티팩트는 자체 라이선스를 유지합니다.