---

HackerSignal هي مجموعة بيانات ومعيار لاستخبارات التهديدات السيبرانية (CTI) تربط ما يناقشه القراصنة في المجتمعات تحت الأرضية والأمنية بالثغرات التي تتعلق بها تلك المناقشات. وهي تجمع 7,447,646 وثيقة منزوعة التكرار الدقيق من 64 معرّف منتدى ومصدر عام عبر ثماني طبقات مصادر، من منتديات القراصنة وأرشيفات الاستغلال إلى أوصاف NVD لثغرات CVE والتنبيهات الأمنية وتقارير مكافآت الثغرات وإصلاحات الالتزامات وثغرات CISA المعروفة المستغلة. وفوق هذه المجموعة تعرّف ثلاث مهام معيارية بتقسيمات زمنية للتدريب/التحقق/الاختبار: استرجاع الربط بـ CVE، وتصنيف نوع الاستغلال إلى 8 فئات، والتعميم الزمني المنفصل عن CVE للثغرات المنشورة بعد التدريب.

نُشرت HackerSignal في مسار التقييمات ومجموعات البيانات في NeurIPS 2026. النسخة الأولية: arXiv:2605.03158.

نظرة سريعة

الوثائق	7,447,646 (منزوعة التكرار الدقيق)
المصادر	64 معرّف منتدى / مصدر عام في 8 طبقات مصادر
طبقة مجتمع القراصنة	6,966,014 منشورًا (أكبر المنتديات: Gayanku، Antichat، Evolution، AntiOnline، HackForums)
مرجع الثغرات	340,536 وصفًا لثغرات NVD CVE (مجموعة الاسترجاع للمهمتين 1 و3)
طبقات أخرى	أرشيفات الاستغلال، أسئلة وأجوبة الاستغلال، التنبيهات، إفصاحات مكافآت الثغرات، إصلاحات الالتزامات، CISA KEV
اللغات	الإنجليزية إضافة إلى محتوى كبير غير إنجليزي: الروسية (antichat، 1.82 مليون منشور)، الفارسية (persiantools، 280 ألفًا)، وغيرها؛ 30.2% من منشورات المنتديات المرتبطة بـ CVE ذات طابع سيريلي غالٍ
المدى الزمني	1988–2026
التقسيمات	زمنية: بيانات الاختبار لاحقة لبيانات التدريب في كل مهمة
البيانات الوصفية	Croissant JSON-LD، Datasheet for Datasets، بيان إصدار المصادر
الترخيص	البيانات CC BY 4.0 (LICENSE-DATA)، الشيفرة MIT (LICENSE)؛ شروط كل مصدر في حوكمة الإصدار

مهام المعيار

المهمة	النوع	تدريب	تحقق	اختبار	المجموعة / الإجمالي	المقاييس
1. استرجاع ربط CVE (CVE-R)	استرجاع	56,692	2,584	1,990	340,536	R@1, R@5, R@10, MRR
2. تصنيف نوع الاستغلال (ETC)	تصنيف 8 فئات	64,413	4,735	1,735	70,883	Macro-F1، F1 لكل فئة
3. التعميم الزمني (TG)	استرجاع منفصل على مستوى CVE	56,833	2,535	1,898	340,536	R@1, R@5, R@10, MRR

• المهمة 1 (CVE-R): بالنظر إلى نص استغلال أو استشارة أو commit إصلاح أو مكافأة ثغرات، استرجع الـ CVE الذي يشير إليه من بين جميع أوصاف NVD البالغ عددها 340,536. تأتي الروابط الذهبية من البيانات الوصفية للمصدر.
• المهمة 2 (ETC): صنّف نص الاستغلال إلى حقن، أو XSS، أو تلف الذاكرة، أو حجب الخدمة، أو تضمين الملفات، أو المصادقة والتحكم في الوصول، أو تنفيذ التعليمات البرمجية عن بُعد، أو الكشف عن المعلومات. التدريب < 2020، والتحقق 2020–2022، والاختبار ≥ 2023.
• المهمة 3 (TG): مسألة الاسترجاع الخاصة بالمهمة 1 مع مجموعات CVE ذهبية منفصلة تمامًا: نُشرت CVEs التدريب قبل 2022، وCVEs التحقق في 2022–2023، وCVEs الاختبار في 2024 أو بعد ذلك. استعلامات اختبار المهمة 3 هي مجموعة فرعية من استعلامات اختبار المهمة 1.

يغطي سلّم خط الأساس BM25، وأربعة مُرمِّزات كثيفة ثنائية (all-MiniLM-L6-v2، all-mpnet-base-v2، BGE-base-en-v1.5، E5-base-v2) وهجين BM25 + كثيف للاسترجاع، وشجرة القرار، وTF-IDF + الانحدار اللوجستي، وSVM الخطي، وRNN، وGRU، وLSTM، وBiLSTM، وSecBERT، وSecureBERT وCySecBERT للتصنيف. توجد الدرجات في نتائج خط الأساس أدناه وفي الورقة البحثية (الجداول 5–7).

نتائج خط الأساس

أرقام النسخة النهائية (camera-ready)، أُعيد بناؤها من البداية إلى النهاية من البيانات المنشورة على جهاز Apple M5 Pro واحد (PyTorch 2.14.1، MPS). كل قيمة أدناه مُولَّدة من results/camera_ready/results.csv؛ البذور لكل تشغيل، ومراجعات النماذج وتجزئات البيانات موجودة في results/camera_ready/provenance.json. يستخدم الاسترجاع مُرمِّزات zero-shot على جميع أوصاف NVD البالغ عددها 340,536، وMRR هو MRR@10. تُخفي التجربة التجريبية لمنشورات المنتدى كل سلسلة CVE في المنشورات البالغ عددها 1,964 المرتبطة بـ CVE في مجتمع الهاكرز، وتسترجع الـ CVE المُستشهد به من نفس المجموعة.

النموذج	المهمة 1 R@1	المهمة 1 MRR	المهمة 3 R@1	المهمة 3 MRR	MRR التجربة التجريبية لمنشورات المنتدى
BM25	0.595	0.636	0.620	0.660	0.064
all-MiniLM-L6-v2	0.655	0.709	0.670	0.722	0.073
all-mpnet-base-v2	0.626	0.682	0.647	0.703	0.065
BGE-base-en-v1.5	0.653	0.714	0.667	0.726	0.078
E5-base-v2	0.649	0.710	0.663	0.721	0.072
Hybrid BM25 + mpnet	0.679	0.711	0.698	0.730	–

النموذجان الأعلى متعادلان إحصائيًا في كلتا المهمتين (bootstrap مزدوج، المهمة 1 ΔMRR 0.003، فاصل ثقة 95% [-0.013, 0.019]؛ المهمة 3 ΔMRR 0.004، فاصل ثقة 95% [-0.012, 0.020]).

المهمة 2 (تصنيف نوع الاستغلال، 1,735 استغلالًا اختباريًا). تُضبط نماذج المحوّلات (Transformers) على عيّنة تدريبية فرعية بحجم 15K.

النموذج	Macro-F1 (المتوسط ± الانحراف المعياري، 3 بذور)	فاصل ثقة 95%
Decision Tree	0.702 ± 0.007	[0.677, 0.727]
TF-IDF + LR	0.772 ± 0.000	[0.744, 0.795]
SVM	0.799 ± 0.000	[0.773, 0.822]
RNN	0.436 ± 0.031	[0.415, 0.455]
GRU	0.858 ± 0.001	[0.840, 0.874]
LSTM	0.824 ± 0.013	[0.804, 0.841]
BiLSTM	0.856 ± 0.003	[0.837, 0.872]
SecBERT	0.852 ± 0.007	[0.833, 0.870]
SecureBERT	0.892 ± 0.008	[0.875, 0.907]
CySecBERT	0.898 ± 0.003	[0.882, 0.913]

لا يختلف CySecBERT وSecureBERT اختلافًا كبيرًا (Δ مزدوج 0.006، فاصل ثقة 95% [-0.003, 0.016]).

البدء السريع

توجد تقسيمات الاختبار مُثبَّتة في data/benchmark_v2/. أما تقسيمات التدريب والتحقق والمجموعة الكاملة فهي على Hugging Face Hub كملفات JSONL:

from datasets import load_dataset