rbidou/llm-forensics가중치 수준 LLM 포렌식: 모델 가중치를 비교(diff)하고, 파인튜닝·병합·위장된 파생 모델을 탐지하며, 파인튜닝이 촉진하거나 억제하는 토큰을 널 기준선 점수(null-baseline scoring)로 드러냅니다.
인과적 언어 모델을 위한 가중치 수준 포렌식. 두 모델을 지정하면 이들이 어떻게 관련되어 있는지, 그리고 그중 하나가 무엇을 학습했는지를 알려줍니다.
| 질문 | 분석 |
|---|---|
| 파인튜닝이 가중치를 얼마나, 어디에서 이동시켰는가? | 가중치 차이(Weight Diff) |
| 가장 큰 업데이트는 어떤 토큰을 촉진, 억제 또는 반응하게 하는가? | 토큰 변화(Token Shifts) |
| Hub 모델은 선언된 부모 및 자식과 어떻게 비교되는가? | Hub 계보(Hub Lineage) |
| 이 모델이 다른 모델에서 파생되었는가, 심지어 미선언되었거나 위장되었더라도? | 출처(Provenance) |
| 두 모델의 예측은 어디에서 달라지며, 파인튜닝은 무엇을 기록하는가? | 행동 프로브(Behaviour Probe) |
전체 모델, 병합된 파인튜닝, LoRA 어댑터, 학습 체크포인트, GGUF 파일 및 bitsandbytes 4/8비트 체크포인트를 읽습니다 — 로컬에서 또는 Hugging Face Hub에서 직접, 필요한 텐서만 가져옵니다. 모든 분석은 자체 포함된 HTML 보고서와 JSON 보고서로 저장됩니다.
동기는 보안입니다: 모델의 출처를 감사하고, 미선언된 파생물을 탐지하며, 적대적 파인튜닝이 모델에 무엇을 가르쳤는지 이해하는 것입니다. 모든 유사도는 널 기준선(null baseline) 대비 보고되므로, 숫자를 막연한 느낌이 아닌 증거로 읽을 수 있습니다. 실제 모델에서 검증되었으며, 주입된 페이로드를 행동 프로브가 노출하는 적대적 파인튜닝을 포함합니다.
Python 3.11+ (3.12, Windows 11에서 개발됨; 코드는 OS에 독립적).
python -m venv venv
venv\Scripts\activate # Linux/macOS: source venv/bin/activate
# torch first, from the wheel index matching your hardware
pip install torch --index-url https://download.pytorch.org/whl/cpu # CPU
# or a CUDA build: https://pytorch.org/get-started/locally/
pip install -r requirements.txt
python run.py check # what this machine can do
비공개 또는 게이트된 Hub 모델: HF_TOKEN을 설정하거나 huggingface-cli login으로 한 번 로그인하세요.
python run.py # interactive terminal interface (default)
python run.py web # browser interface on http://127.0.0.1:5000 (address set in Setup)
python run.py check # platform, GPU, packages and available features
두 인터페이스 모두 동일한 메뉴를 제공합니다 — 가중치 차이, 토큰 변화, Hub 계보, 출처, 행동 프로브, 보고서, 환경, 설정. 모델을 요청하는 곳마다 Hub id(Qwen/Qwen2.5-Coder-1.5B) 또는 로컬 경로(safetensors 폴더, 체크포인트, .gguf 파일 또는 LoRA 어댑터)를 제공하세요. Pickle 가중치(.bin, .pt)는 절대 로드되지 않습니다 — 조사 대상 모델은 신뢰할 수 없습니다.
웹 인터페이스는 루프백에 바인딩되며 인증이 없습니다: 네트워크에 노출하지 마세요.
의심 모델과 비교할 소스를 선택:
실시간 진행 상황과 함께 실행 중인 분석:
통합 보고서 — 분석별 섹션 위에 요약:
모든 분석이 저장됩니다; 보고서 화면에서 열기, 다시 렌더링, 다운로드 및 삭제가 가능합니다:
토큰 변화 — 가장 큰 업데이트와 이들이 촉진, 억제 또는 반응하게 하는 토큰:
저자: Renaud Bidou ([email protected])
MIT 라이선스에 따라 라이선스됨 — LICENSE 참조.