LMSMは、言語モデルのための生成時セーフティ基盤です。モデル内部のシグナルを小さく明示的な安全ルールに接続し、リクエストごとにポリシー状態を保持し、アクティブなルールがトリガーされたリクエストのみを仲介します。
完全な設計と評価については、LMSM: LLM Security Framework Inspired by Linux Security Modulesを参照してください。
中核となる制御パスは次のとおりです:
Targets -> Backend bindings -> Rules -> Policy bundle
|
model forward -> request-keyed backend evaluation -> composition -> action -> response
生成中、LMSMは評価された各行をそのリクエストIDに関連付けます。したがって、vLLMが多数のリクエストを1回のフォワードパスに詰め込んだ場合でも、各リクエストは独自の実行中スコア、しきい値状態、およびアクション履歴を持ちます。ランタイムは選択された行にのみアクションを適用し、他の行は通常どおり続行します。
profiles/ 配下のポータブルYAMLファイルは、すぐに使える4つの構成を定義しています。
| プロファイル | スケジュール |
|---|---|
LMSM-Checkpoint | プロンプトと2つの生成トークンウィンドウをプールし、ステップ64でそれらのキャリブレーション済み融合を評価します。 |
LMSM-Anytime | 生成ステップごとに実行中プレフィックスのスコアを更新し、最初にしきい値を超えた時点でアクションを実行します。 |
LMSM-Transcoder | プロンプトおよび生成中にキャリブレーション済みのQwen3トランスコーダー特徴を追跡し、最初にしきい値を超えた時点でアクションを実行します。 |
LMSM-SAE | プロンプトおよび生成中にキャリブレーション済みのGemma Scope SAE特徴を追跡し、最初にしきい値を超えた時点でアクションを実行します。 |
CheckpointとAnytimeは標準化された密な線形プローブを使用します。 TranscoderとSAEは、他の2つのバックエンドタイプの完全なアーティファクトベースの例を提供します。それぞれに、キャリブレーション済みの特徴座標としきい値を持つ6つの独立したセマンティックルールが含まれています。ポリシーは、バックエンド定義を変更することなく、ルールセット全体または任意のサブセットを有効化できます。
各プロファイルは、ターゲットの順序、バックエンドの詳細、ルールの選択、スケジューリング、合成、および公開されている allow、refuse、terminate アクションへのマッピングを、1つの DeploymentProfile オブジェクトに保持します。バインディング、個々のルール、ルールライブラリ、およびポリシーバンドルは、人間が読めるシンプルなバージョン文字列を使用します。
含まれるビルダーは上記のスケジュールを実装しています。カスタムポリシーエバリュエーターは、同じコントロールプレーンおよびエンフォースメントインターフェースに対して追加のスケジュールセマンティクスを実装できます。
LMSMにはPython 3.10以降が必要です。ベースライブラリと、使用する予定のオプションのランタイムをインストールしてください。
python -m venv .venv
. .venv/bin/activate
python -m pip install -e '.[hf]'
オフラインの vLLM 統合の場合:
python -m pip install -e '.[hf,vllm]'
LMSM-SAE を使用するには、SAE 拡張機能をインストールしてください:
python -m pip install -e '.[hf,sae]'
同梱のインプロセス vLLM アダプターは、ワーカー 1 台、テンソル並列およびパイプライン並列サイズ 1 の vLLM 0.19.0 を対象としています。特定のモデルアーキテクチャを前提とせず、アクティブなバックエンドバインディングとロード済みモデルから、アクティベーションモジュール、pre/post フックモード、および隠れ層の幅を読み取ります。Hugging Face 統合では、同じプロファイル選択されたアクティベーションサイトを使用します。
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
from lmsm import build_transformers_engine, load_profile
root = Path("/path/to/LMSM")
model_id = "Qwen/Qwen3-4B"
profile = load_profile(root / "profiles/lmsm_anytime.yaml")
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
engine = build_transformers_engine(model, tokenizer, profile, root)
print(engine.generate("Explain how photosynthesis works."))
ポリシーの一部のみが必要な場合は、エンジンを構築する前に独立したルールを選択してください:
profile = profile.with_active_rules([
"chemical_biological",
"cybercrime_intrusion",
])
build_transformers_engine 内の actions_enabled=False を設定すると、応答を変更せずにポリシーを評価できます。
scripts/run_vllm.py は id と prompt フィールドを持つ JSONL 行を受け取り、outputs.jsonl、actions.jsonl、timings.csv を書き出します:
python scripts/run_vllm.py \
--model Qwen/Qwen3-4B \
--profile profiles/lmsm_anytime.yaml \
--input examples/requests.jsonl \
--run-dir runs/anytime \
--physical-gpu 0
選択したルールのサブセットを実行するには、--active-rule RULE_ID を繰り返します。例えば、
--active-rule chemical_biological --active-rule cybercrime_intrusion は、選択したプロファイルから
その2つのルールのみを有効化します。
リポジトリには、開発中に使用される高速な CPU テストスイートが含まれています:
python -m pip install -e '.[dev]'
python -m pytest -q
これらのテストはライブラリのインターフェースと提供されたプロファイル契約をカバーしています。
GPUベンチマークの再現手順は reproduction/ に別途記載されています。
LMSMのソースコードおよびプロジェクトが作成したドキュメントはMITライセンスを使用しています。 モデルおよびバックエンドの成果物は、それぞれ独自のライセンスに従います。