rbidou/llm-forensics重みレベルのLLMフォレンジック：モデルの重みを差分比較し、ファインチューン、マージ、偽装された派生モデルを検出し、ファインチューンが促進または抑制するトークンをヌルベースラインスコアリングで明らかにします。
因果言語モデルのための重みレベルのフォレンジック。 2つのモデルを指定すると、それらがどのように関連しているか、そして一方のモデルが何を教え込まれたかを明らかにします。
| 質問 | 分析 |
|---|---|
| ファインチューニングは重みをどれだけ、どこで動かしたか? | Weight Diff |
| 最も大きな更新はどのトークンを促進、抑制、または反応させるか? | Token Shifts |
| Hub上のモデルは、宣言された親や子とどう比較されるか? | Hub Lineage |
| このモデルは、たとえ未宣言や偽装であっても、別のモデルから派生したものか? | Provenance |
| 2つのモデルの予測はどこで異なり、ファインチューニングは何を書き込むか? | Behaviour Probe |
完全なモデル、マージ済みファインチューニング、LoRAアダプタ、学習チェックポイント、GGUFファイル、bitsandbytesの4/8ビットチェックポイントを読み取ります — ローカルから、またはHugging Face Hubから直接、必要なテンソルのみを取得します。すべての分析は、自己完結型のHTMLレポートとJSONレポートとして保存されます。
動機はセキュリティです。モデルがどこから来たのかを監査し、未宣言の派生モデルを検出し、敵対的ファインチューニングがモデルに何を教え込んだかを理解することです。すべての類似度はヌルベースラインと比較して報告されるため、数値は雰囲気ではなく証拠として読むことができます。実際のモデルで検証済みであり、Behaviour Probeが注入されたペイロードを露呈させた敵対的ファインチューニングも含まれます。
Python 3.11+ (3.12、Windows 11で開発。コードはOS非依存)。
python -m venv venv
venv\Scripts\activate # Linux/macOS: source venv/bin/activate
# torch first, from the wheel index matching your hardware
pip install torch --index-url https://download.pytorch.org/whl/cpu # CPU
# or a CUDA build: https://pytorch.org/get-started/locally/
pip install -r requirements.txt
python run.py check # what this machine can do
プライベートまたはゲート付きのHubモデル: HF_TOKENを設定するか、huggingface-cli loginで一度ログインしてください。
python run.py # interactive terminal interface (default)
python run.py web # browser interface on http://127.0.0.1:5000 (address set in Setup)
python run.py check # platform, GPU, packages and available features
どちらのインターフェースも同じメニューを提供します — Weight Diff、Token Shifts、Hub Lineage、Provenance、Behaviour Probe、Reports、Environment、Setup。モデルを求められた箇所では、Hub ID (Qwen/Qwen2.5-Coder-1.5B) またはローカルパス (safetensorsフォルダ、チェックポイント、.ggufファイル、またはLoRAアダプタ) を指定してください。Pickle形式の重み (.bin、.pt) は決して読み込まれません — 調査対象のモデルは信頼できないためです。
Webインターフェースはループバックにバインドされ、認証機能はありません。ネットワーク上に公開しないでください。
疑わしいモデルを選択し、比較対象のソースを指定する:
分析の実行中、ライブ進捗表示付き:
統合レポート — 分析ごとのセクションの上にエグゼクティブサマリー:
すべての分析は保存されます。Reports画面では、それらを開く、再レンダリングする、ダウンロードする、削除することができます:
Token Shifts — 最も大きな更新と、それらが促進、抑制、または反応させるトークン:
著者: Renaud Bidou ([email protected])
MITライセンスの下で提供されています — LICENSEを参照してください。