---

HackerSignal एक साइबर खतरा खुफिया (CTI) डेटासेट और बेंचमार्क है जो इस बात को जोड़ता है कि हैकर भूमिगत और सुरक्षा समुदायों में क्या चर्चा करते हैं और वे चर्चाएँ किन कमज़ोरियों से संबंधित हैं। यह आठ स्रोत परतों में फैले 64 सार्वजनिक फ़ोरम और स्रोत पहचानकर्ताओं से 7,447,646 सटीक-विडुप्लिकेटेड दस्तावेज़ों को एकत्र करता है, हैकर फ़ोरम और एक्सप्लॉइट अभिलेखागार से लेकर NVD CVE विवरण, सुरक्षा सलाह, बग-बाउंटी रिपोर्ट, फ़िक्स कमिट और CISA Known Exploited Vulnerabilities तक। कॉर्पस के ऊपर यह समय-आधारित ट्रेन/वैलिडेशन/टेस्ट स्प्लिट के साथ तीन बेंचमार्क कार्यों को परिभाषित करता है: CVE लिंकेज रिट्रीवल, 8-वर्ग एक्सप्लॉइट प्रकार वर्गीकरण, और प्रशिक्षण के बाद प्रकाशित कमज़ोरियों के लिए CVE-असंयुक्त समय-आधारित सामान्यीकरण।

HackerSignal को NeurIPS 2026 Evaluations & Datasets Track में प्रकाशित किया गया है। प्रीप्रिंट: arXiv:2605.03158।

एक नज़र में

दस्तावेज़	7,447,646 (सटीक-विडुप्लिकेटेड)
स्रोत	8 स्रोत परतों में 64 सार्वजनिक फ़ोरम / स्रोत पहचानकर्ता
हैकर-समुदाय परत	6,966,014 पोस्ट (सबसे बड़े फ़ोरम: Gayanku, Antichat, Evolution, AntiOnline, HackForums)
कमज़ोरी संदर्भ	340,536 NVD CVE विवरण (कार्य 1 और 3 के लिए रिट्रीवल कॉर्पस)
अन्य परतें	एक्सप्लॉइट अभिलेखागार, एक्सप्लॉइट प्रश्नोत्तर, सलाह, बग-बाउंटी प्रकटीकरण, फ़िक्स कमिट, CISA KEV
भाषाएँ	अंग्रेज़ी के साथ पर्याप्त गैर-अंग्रेज़ी सामग्री: रूसी (antichat, 1.82M पोस्ट), फ़ारसी (persiantools, 280K), और अन्य; CVE-लिंक्ड फ़ोरम पोस्टों में से 30.2% सिरिलिक-प्रधान हैं
समय अवधि	1988–2026
स्प्लिट	समय-आधारित: प्रत्येक कार्य में टेस्ट डेटा प्रशिक्षण डेटा के बाद का है
मेटाडेटा	Croissant JSON-LD, Datasheet for Datasets, स्रोत रिलीज़ मैनिफ़ेस्ट
लाइसेंस	डेटा CC BY 4.0 (LICENSE-DATA), कोड MIT (LICENSE); प्रति-स्रोत शर्तें रिलीज़ गवर्नेंस में

बेंचमार्क कार्य

कार्य	प्रकार	ट्रेन	वैल	टेस्ट	कॉर्पस / कुल	मेट्रिक्स
1. CVE लिंकेज रिट्रीवल (CVE-R)	रिट्रीवल	56,692	2,584	1,990	340,536	R@1, R@5, R@10, MRR
2. एक्सप्लॉइट प्रकार वर्गीकरण (ETC)	8-वर्ग वर्गीकरण	64,413	4,735	1,735	70,883	Macro-F1, प्रति-वर्ग F1
3. टेम्पोरल जनरलाइज़ेशन (TG)	CVE-असंयुक्त रिट्रीवल	56,833	2,535	1,898	340,536	R@1, R@5, R@10, MRR

• कार्य 1 (CVE-R): एक्सप्लॉइट, एडवाइज़री, फ़िक्स-कमिट या बग-बाउंटी टेक्स्ट दिया गया है, उस CVE को रिट्रीव करें जिसका यह संदर्भ देता है, सभी 340,536 NVD विवरणों में से। गोल्ड लिंक स्रोत मेटाडेटा से आते हैं।
• कार्य 2 (ETC): एक्सप्लॉइट टेक्स्ट को injection, XSS, memory corruption, denial of service, file inclusion, authentication and access control, remote code execution, या information disclosure में वर्गीकृत करें। ट्रेन < 2020, वैलिडेशन 2020–2022, टेस्ट ≥ 2023।
• कार्य 3 (TG): कार्य 1 की रिट्रीवल समस्या, पूर्णतः असंयुक्त गोल्ड CVE सेट के साथ: ट्रेनिंग CVE 2022 से पहले प्रकाशित हुए थे, वैलिडेशन CVE 2022–2023 में, और टेस्ट CVE 2024 या उसके बाद। कार्य 3 की टेस्ट क्वेरीज़ कार्य 1 की टेस्ट क्वेरीज़ का एक उपसमुच्चय हैं।

बेसलाइन लैडर में रिट्रीवल के लिए BM25, चार डेंस बाई-एनकोडर (all-MiniLM-L6-v2, all-mpnet-base-v2, BGE-base-en-v1.5, E5-base-v2) और एक BM25 + डेंस हाइब्रिड शामिल हैं, तथा वर्गीकरण के लिए Decision Tree, TF-IDF + logistic regression, linear SVM, RNN, GRU, LSTM, BiLSTM, SecBERT, SecureBERT और CySecBERT शामिल हैं। स्कोर नीचे Baseline results में और पेपर में (तालिकाएँ 5–7) दिए गए हैं।

बेसलाइन परिणाम

Camera-ready संख्याएँ, एक Apple M5 Pro (PyTorch 2.14.1, MPS) पर जारी किए गए डेटा से शुरू से अंत तक पुनर्निर्मित। नीचे प्रत्येक मान results/camera_ready/results.csv से उत्पन्न होता है; प्रति-रन सीड, मॉडल रिवीज़न और डेटा हैश results/camera_ready/provenance.json में हैं। रिट्रीवल सभी 340,536 NVD विवरणों पर ज़ीरो-शॉट एनकोडर का उपयोग करता है, और MRR, MRR@10 है। फ़ोरम-पोस्ट पायलट 1,964 CVE-लिंक्ड हैकर-कम्युनिटी पोस्ट्स में प्रत्येक CVE स्ट्रिंग को मास्क करता है और उसी कॉर्पस से उद्धृत CVE को रिट्रीव करता है।

मॉडल	कार्य 1 R@1	कार्य 1 MRR	कार्य 3 R@1	कार्य 3 MRR	फ़ोरम-पोस्ट पायलट MRR
BM25	0.595	0.636	0.620	0.660	0.064
all-MiniLM-L6-v2	0.655	0.709	0.670	0.722	0.073
all-mpnet-base-v2	0.626	0.682	0.647	0.703	0.065
BGE-base-en-v1.5	0.653	0.714	0.667	0.726	0.078
E5-base-v2	0.649	0.710	0.663	0.721	0.072
Hybrid BM25 + mpnet	0.679	0.711	0.698	0.730	–

शीर्ष दो मॉडल दोनों कार्यों पर सांख्यिकीय रूप से बराबर हैं (paired bootstrap, कार्य 1 ΔMRR 0.003, 95% CI [-0.013, 0.019]; कार्य 3 ΔMRR 0.004, 95% CI [-0.012, 0.020])।

कार्य 2 (एक्सप्लॉइट प्रकार वर्गीकरण, 1,735 टेस्ट एक्सप्लॉइट)। ट्रांसफ़ॉर्मर 15K ट्रेनिंग सबसैंपल पर फ़ाइन-ट्यून किए गए हैं।

मॉडल	Macro-F1 (माध्य ± SD, 3 सीड)	95% CI
Decision Tree	0.702 ± 0.007	[0.677, 0.727]
TF-IDF + LR	0.772 ± 0.000	[0.744, 0.795]
SVM	0.799 ± 0.000	[0.773, 0.822]
RNN	0.436 ± 0.031	[0.415, 0.455]
GRU	0.858 ± 0.001	[0.840, 0.874]
LSTM	0.824 ± 0.013	[0.804, 0.841]
BiLSTM	0.856 ± 0.003	[0.837, 0.872]
SecBERT	0.852 ± 0.007	[0.833, 0.870]
SecureBERT	0.892 ± 0.008	[0.875, 0.907]
CySecBERT	0.898 ± 0.003	[0.882, 0.913]

CySecBERT और SecureBERT में महत्वपूर्ण अंतर नहीं है (paired Δ 0.006, 95% CI [-0.003, 0.016])।

त्वरित शुरुआत

टेस्ट स्प्लिट्स data/benchmark_v2/ में कमिट किए गए हैं। ट्रेनिंग और वैलिडेशन स्प्लिट्स तथा पूरा कॉर्पस Hugging Face Hub पर JSONL फ़ाइलों के रूप में हैं:

from datasets import load_dataset