rbidou/llm-forensicsتحليل جنائي لنماذج LLM على مستوى الأوزان: قارن أوزان النماذج، واكتشف عمليات الضبط الدقيق والدمج والمشتقات المتنكرة، واكشف الرموز التي يعززها الضبط الدقيق أو يكبتها، مع تقييم بخط أساس صفري.
تحليل جنائي على مستوى الأوزان لنماذج اللغة السببية. وجّهه نحو نموذجين وسيخبرك كيف يرتبطان — وما الذي تعلّمه أحدهما.
| السؤال | التحليل |
|---|---|
| إلى أي مدى، وأين، حرّك الضبط الدقيق الأوزان؟ | Weight Diff |
| أي الرموز تعززها أو تكبتها أو تتفاعل معها التحديثات الأثقل؟ | Token Shifts |
| كيف يقارن نموذج من Hub بوالده وأبنائه المعلنين؟ | Hub Lineage |
| هل هذا النموذج مشتق من نموذج آخر، حتى لو كان غير معلن أو مموّهًا؟ | Provenance |
| أين تختلف تنبؤات النموذجين، وماذا يكتب الضبط الدقيق؟ | Behaviour Probe |
يقرأ النماذج الكاملة، والضبوط الدقيقة المدمجة، ومحوّلات LoRA، ونقاط فحص التدريب، وملفات GGUF، ونقاط فحص bitsandbytes بدقة 4/8 بت — محليًا أو مباشرة من Hugging Face Hub، مع جلب الموترات التي يحتاجها فقط. يُحفظ كل تحليل كتقرير HTML مكتفٍ ذاتيًا وتقرير JSON.
الدافع هو الأمن: تدقيق مصدر النموذج، واكتشاف المشتقات غير المعلنة، وفهم ما علّمه ضبط دقيق عدائي للنموذج. يُبلَّغ عن كل تشابه مقابل خط أساس صفري (null baseline)، بحيث يمكن قراءة الرقم كدليل، لا كإحساس. وقد تم التحقق منه على نماذج حقيقية، بما في ذلك ضبط دقيق عدائي كشف Behaviour Probe الحمولة المحقونة فيه.
Python 3.11+ (تم التطوير على 3.12، Windows 11؛ الكود مستقل عن نظام التشغيل).
python -m venv venv
venv\Scripts\activate # Linux/macOS: source venv/bin/activate
# torch first, from the wheel index matching your hardware
pip install torch --index-url https://download.pytorch.org/whl/cpu # CPU
# or a CUDA build: https://pytorch.org/get-started/locally/
pip install -r requirements.txt
python run.py check # what this machine can do
نماذج Hub الخاصة أو المقيّدة: عيّن HF_TOKEN، أو سجّل الدخول مرة واحدة باستخدام huggingface-cli login.
python run.py # interactive terminal interface (default)
python run.py web # browser interface on http://127.0.0.1:5000 (address set in Setup)
python run.py check # platform, GPU, packages and available features
تقدّم كلتا الواجهتين القوائم نفسها — Weight Diff، Token Shifts، Hub Lineage، Provenance،
Behaviour Probe، Reports، Environment، Setup. حيثما يُطلب نموذج، أعطِ معرّف Hub
(Qwen/Qwen2.5-Coder-1.5B) أو مسارًا محليًا (مجلد safetensors، أو نقطة فحص، أو ملف .gguf، أو
محوّل LoRA). أوزان Pickle (.bin، .pt) لا تُحمَّل أبدًا — فالنماذج قيد التحقيق
غير موثوقة.
ترتبط واجهة الويب بواجهة الاسترجاع المحلية (loopback) ولا تتضمن مصادقة: لا تعرّضها على الشبكة.
اختيار نموذج مشتبه به والمصدر للمقارنة معه:
تحليل قيد التشغيل، مع تقدّم مباشر:
التقرير المدمج — ملخص تنفيذي فوق أقسام كل تحليل:
يُحفظ كل تحليل؛ شاشة Reports تفتحها وتعيد عرضها وتنزّلها وتحذفها:
Token Shifts — التحديثات الأثقل والرموز التي تعززها أو تكبتها أو تتفاعل معها:
المؤلف: Renaud Bidou ([email protected])
مرخّص بموجب رخصة MIT — انظر LICENSE.