
토크나이저 및 동작 신호로 OpenAI 호환 LLM의 지문을 식별합니다.

OpenAI 호환 채팅 엔드포인트 뒤에 있는 서빙 스택의 지문을 채취합니다.
토크나이저 회계, 숨겨진 템플릿 오프셋, 검증 문구, JSON/SSE 형태, 역할 수용 여부, 명명된 한도, 게이트웨이 헤더를 기록합니다. 가중치를 로드하지 않고, API 키를 저장하지 않으며, 모델에게 자신이 누구인지 묻지 않습니다.
| Import | lm_fingerprint |
| CLI | lm-fingerprint |
| What | /chat/completions에 대한 버전 관리된 인프라 프로브. 오프라인 합성 라이브러리. 로컬 Hugging Face 토크나이저 검증(가중치 없음). |
| What it is not | 그래디언트 공격이 아닙니다. 탈옥이 아닙니다. 인코드 맵 신원(tokprint)이 아닙니다. "이 포트에 어떤 바이너리가 있는가"(Julius)가 아닙니다. |
승인된 사용만: 소유한 엔드포인트, 통제하는 랩, 범위 내 바운티, 서면 침투 테스트. SECURITY.md를 참조하세요.
--api-key-env는 환경 변수 이름을 지정합니다. 키는 절대 기록되지 않습니다.
OpenAI 호환 채팅은 흔한 와이어입니다. vLLM, SGLang, 랩 게이트웨이, 리셀러 모두
/chat/completions를 말할 수 있습니다. model 필드는 라벨입니다.
호스트는 백엔드를 교체하거나, 토크나이저를 감싸거나, 앞단에 라우터를 둘 수 있습니다.
성격 프로브는 시스템 프롬프트가 바뀌면 함께 움직입니다.
그대로 남는 것은 배관입니다: 서버가 토큰을 세는 방식, 추가하는 숨겨진
템플릿 토큰 수, 검증기가 작성한 문구, SSE 방언,
수용하는 역할, max_tokens가 터무니없을 때 명명하는 숫자,
Server / 제공자 헤더.
이 도구가 답하는 질문은 이것입니다: 이 채팅 경로를 처리하는 스택은 무엇인가? 어떤 체크포인트인지, 어떤 프로세스가 포트에 바인딩되었는지, 누가 완성을 작성했는지가 아닙니다.
ModelPrint는 브라우저에서 아홉 개의 프로브로 같은 질문을 했습니다. 이 패키지는 CLI 및 라이브러리 형태입니다: 버전 관리된 프로브, 등록 가능한 라이브러리, 쌍별 증거, 드리프트, 그리고 호스팅 Inference API를 절대 호출하지 않는 로컬 토크나이저 경로.
지문은 프로브 value들의 버전 관리된 JSON 기록입니다. 각 프로브는
같은 스택을 두 번 타격했을 때 같은 값을 반환해야 합니다. 타임스탬프,
요청 id, 지연 시간, 키는 제거됩니다.
토크나이저 카운트는 ModelPrint 1.0.0 텍스트(MIT, unclecode/modelprint)를 재사용하며,
바이트 단위로 정확하고, 숨겨진 템플릿이 상쇄되도록 한 문자 "a" 기준선을 뺍니다.
그 네 숫자는 인코드 맵 (T)의 투영입니다.
카운트가 같다고 해서 (T_1 \equiv T_2)인 것은 아닙니다. GPT-2와 OPT는
이들에서 충돌합니다; rust 파이프라인 해시는 그렇지 않습니다.
hf_identity(로컬 HF 경로 전용)는 해당 파이프라인 커밋먼트의 SHA-256에
채팅 템플릿 해시를 더한 값입니다. 같은 (T)와 같은 템플릿이 일치합니다
(tiny-gpt2 / gpt2). 그것은 패밀리 + 템플릿이지, 체크포인트가 아닙니다.
레이아웃:
src/lm_fingerprint/
cli.py argparse. --api-key-env only. No --api-key.
client.py HttpTransport, InProcessTransport, redact_secrets
probes.py 38 ProbeSpec rows (tokenizer / errors / shape / roles / limits / proxy / surface)
engine.py run suite → Fingerprint
schema.py schema_version=1, probe_suite_version=lm-fingerprint-probes-v2
similarity.py weighted exact-match, coverage, confidence, library rank, drift
align.py constant-shift MAE + residual on the 15-script suite
catalog.py offline supported_parameters twins
library.py enroll / match. Packaged rows are synthetic fixtures
synthetic.py in-process stacks for tests and the shipped library
hf.py local AutoTokenizer + named validation profile. No weights
localmap.py encode-pipeline-v2 commitment (rust tokenizer.json)
proof.py measured ModelPrint 9-probe identity
report.py text reports
data/library.json
동일한 프로브 스위트로 들어가는 두 가지 경로:
live endpoint local Hub tokenizer (optional [hf])
| |
HttpTransport.chat HfChatTransport
POST /chat/completions encode / chat_template for counts
| synthetic profile for errors/shape
+------------------+----------------------+
|
engine.run_probes
|
Fingerprint (JSON, keyless)
|
compare | match | drift | enroll
프로브 작성: docs/PROBES.md. 모듈 맵: docs/ARCHITECTURE.md.
| 보유한 것 | 관찰할 수 있는 것 | 이 도구가 하는 일 |
|---|---|---|
| 권한이 부여된 OpenAI 호환 base URL + 키 | 채팅 HTTP: usage, 오류, 헤더, SSE | fingerprint / compare / match / drift |
| 로컬 토크나이저 파일 | encode 및 chat_template | fingerprint-hf / verify-hf. 가중치는 디스크에 그대로 유지됨 |
| host:port 외에는 아무것도 없음 | 배너 / /health / /api/tags | 범위 외. Julius 사용 |
일치(match)는 공유 인프라를 의미한다. 하나의 랩이 하나의 스택에서 두 개의 체크포인트를 서빙할 수 있다. 라우터는 자체 오류 래퍼로 응답할 수 있다. 카운트 일치는 (T)의 동일성을 의미하지 않는다.
Python 3.10+. 핵심 런타임은 표준 라이브러리이다.
git clone https://gitlab.com/WattoCyber/lm-fingerprint.git
cd lm-fingerprint
pip install -e ".[dev]"
PYTHONPATH=src python3 scripts/repro.py
REPRO_OK가 나올 것으로 예상합니다. 이 게이트는 오프라인입니다: GPU도, 프로덕션 API도 없습니다.
로컬 HF 테스트는 토크나이저가 캐시되어 있지 않으면 건너뜁니다.
pip install -e ".[hf]" # transformers, for fingerprint-hf / verify-hf
lm-fingerprint list-probes
lm-fingerprint list
list는 패키징된 스택인 openai-chat-strict, glm-compat, router-openai, permissive-compat를 출력합니다. 이들은 스크래핑된 프로바이더가 아니라 픽스처입니다. 네트워크 없이 그중 두 개를 비교하려면:
from lm_fingerprint.client import InProcessTransport
from lm_fingerprint.engine import fingerprint_endpoint
from lm_fingerprint.similarity import compare_fingerprints
from lm_fingerprint.synthetic import SYNTHETIC_STACKS, handler_for
def fp(stack_id):
t = InProcessTransport(handler_for(stack_id), headers=SYNTHETIC_STACKS[stack_id].headers)
return fingerprint_endpoint(t, model=f"synthetic/{stack_id}", base_url=f"inprocess://{stack_id}")
print(compare_fingerprints(fp("openai-chat-strict"), fp("router-openai"))["note"])
동일한 단어 토크나이저, 다른 오류와 헤더. 점수는 약 0.62에
도달한다. ModelPrint의 네 가지 카운트는 일치하지만, 이 도구는 그것을
공유 스택이라고 부르지 않는다.
lm-fingerprint fingerprint \
--base-url https://your-lab.example/v1 \
--model the-label \
--api-key-env OPENAI_API_KEY \
--out lab.json
lm-fingerprint match --fingerprint lab.json
lm-fingerprint enroll --fingerprint lab.json --stack-id my-lab --library my-lib.json
명령줄에 키를 전달하지 마세요. 공개 라이브러리를 채우기 위해 프로덕션 API를 스크래핑하지 마세요.
lm-fingerprint fingerprint-hf --model sshleifer/tiny-gpt2 --local-files-only
lm-fingerprint verify-hf --local-files-only
개수는 템플릿이 존재할 경우 apply_chat_template에서 가져오고, 그렇지 않으면
encode(..., add_special_tokens=False)에서 가져옵니다. 오류 분류 체계는
명명된 합성 프로필(기본값 openai-chat-strict)에서 가져오므로 실행은
오프라인으로 유지됩니다. 원격 핸들(https://, api://, …)은 거부됩니다.
lm-fingerprint list-probes
lm-fingerprint list [--library PATH]
lm-fingerprint fingerprint --base-url URL --model MODEL --api-key-env VAR [--out PATH]
lm-fingerprint fingerprint-hf --model HANDLE [--profile NAME] [--local-files-only]
lm-fingerprint verify-hf [--models a,b,c] [--local-files-only]
lm-fingerprint prove [--local-files-only]
lm-fingerprint compare --a a.json --b b.json
lm-fingerprint match --fingerprint a.json [--library PATH]
lm-fingerprint drift --baseline old.json --current new.json
lm-fingerprint enroll --fingerprint a.json --stack-id ID --library PATH
lm-fingerprint export --fingerprint a.json
--api-key 플래그는 없습니다. 이전 wireprint-fingerprint /
stackprint-fingerprint JSON은 여전히 로드됩니다.
from lm_fingerprint import (
StackLibrary,
compare_fingerprints,
fingerprint_endpoint,
fingerprint_hf,
match_library,
)
from lm_fingerprint.client import HttpTransport
fp = fingerprint_endpoint(HttpTransport(url, api_key=key), model="x", base_url=url)
hit = match_library(fp, StackLibrary.load())
local = fingerprint_hf("sshleifer/tiny-gpt2", local_files_only=True)
schema_version = 1, probe_suite_version = lm-fingerprint-probes-v2.