---

HackerSignal è un dataset e benchmark di cyber threat intelligence (CTI) che collega ciò di cui gli hacker discutono nelle comunità underground e di sicurezza alle vulnerabilità a cui tali discussioni si riferiscono. Aggrega 7.447.646 documenti deduplicati in modo esatto da 64 identificatori pubblici di forum e sorgenti distribuiti su otto livelli di sorgente, dai forum di hacker e archivi di exploit alle descrizioni CVE di NVD, agli advisory di sicurezza, ai report di bug-bounty, ai commit di correzione e alle CISA Known Exploited Vulnerabilities. Al di sopra del corpus definisce tre attività di benchmark con split temporali train/validation/test: retrieval del collegamento ai CVE, classificazione del tipo di exploit in 8 classi e generalizzazione temporale disgiunta rispetto ai CVE verso vulnerabilità pubblicate dopo l'addestramento.

HackerSignal è pubblicato nella NeurIPS 2026 Evaluations & Datasets Track. Preprint: arXiv:2605.03158.

In sintesi

Documenti	7.447.646 (deduplicati in modo esatto)
Sorgenti	64 identificatori pubblici di forum / sorgenti in 8 livelli di sorgente
Livello della comunità hacker	6.966.014 post (forum più grandi: Gayanku, Antichat, Evolution, AntiOnline, HackForums)
Riferimento alle vulnerabilità	340.536 descrizioni CVE di NVD (il corpus di retrieval per le Attività 1 e 3)
Altri livelli	Archivi di exploit, Q&A sugli exploit, advisory, divulgazioni di bug-bounty, commit di correzione, CISA KEV
Lingue	Inglese più contenuti sostanziali non in inglese: russo (antichat, 1,82M post), persiano (persiantools, 280K) e altre; il 30,2% dei post del forum collegati ai CVE è a forte presenza cirillica
Arco temporale	1988–2026
Split	Temporali: i dati di test sono successivi ai dati di addestramento in ogni attività
Metadati	Croissant JSON-LD, Datasheet for Datasets, manifest di rilascio delle sorgenti
Licenza	Dati CC BY 4.0 (LICENSE-DATA), codice MIT (LICENSE); termini per sorgente nella governance del rilascio

Attività di benchmark

Attività	Tipo	Train	Val	Test	Corpus / totale	Metriche
1. CVE Linkage Retrieval (CVE-R)	Retrieval	56.692	2.584	1.990	340.536	R@1, R@5, R@10, MRR
2. Exploit Type Classification (ETC)	Classificazione a 8 classi	64.413	4.735	1.735	70.883	Macro-F1, F1 per classe
3. Temporal Generalization (TG)	Retrieval con CVE disgiunti	56.833	2.535	1.898	340.536	R@1, R@5, R@10, MRR

• Attività 1 (CVE-R): dato un testo di exploit, advisory, fix-commit o bug-bounty, recuperare il CVE a cui si riferisce da tutte le 340.536 descrizioni NVD. I link gold provengono dai metadati della fonte.
• Attività 2 (ETC): classificare il testo dell'exploit in injection, XSS, memory corruption, denial of service, file inclusion, authentication and access control, remote code execution o information disclosure. Train < 2020, validation 2020–2022, test ≥ 2023.
• Attività 3 (TG): il problema di retrieval dell'Attività 1 con insiemi di CVE gold strettamente disgiunti: i CVE di training sono stati pubblicati prima del 2022, i CVE di validation nel 2022–2023 e i CVE di test nel 2024 o successivamente. Le query di test dell'Attività 3 sono un sottoinsieme delle query di test dell'Attività 1.

La scala di baseline copre BM25, quattro bi-encoder densi (all-MiniLM-L6-v2, all-mpnet-base-v2, BGE-base-en-v1.5, E5-base-v2) e un ibrido BM25 + denso per il retrieval, e Decision Tree, TF-IDF + regressione logistica, SVM lineare, RNN, GRU, LSTM, BiLSTM, SecBERT, SecureBERT e CySecBERT per la classificazione. I punteggi sono in Risultati delle baseline di seguito e nel paper (Tabelle 5–7).

Risultati delle baseline

Numeri camera-ready, ricostruiti end to end dai dati rilasciati su un singolo Apple M5 Pro (PyTorch 2.14.1, MPS). Ogni valore di seguito è generato da results/camera_ready/results.csv; i seed per esecuzione, le revisioni dei modelli e gli hash dei dati sono in results/camera_ready/provenance.json. Il retrieval utilizza encoder zero-shot su tutte le 340.536 descrizioni NVD, e MRR è MRR@10. Il pilota sui post del forum maschera ogni stringa CVE nei 1.964 post della hacker-community collegati a CVE e recupera il CVE citato dallo stesso corpus.

Modello	Attività 1 R@1	Attività 1 MRR	Attività 3 R@1	Attività 3 MRR	MRR pilota post del forum
BM25	0.595	0.636	0.620	0.660	0.064
all-MiniLM-L6-v2	0.655	0.709	0.670	0.722	0.073
all-mpnet-base-v2	0.626	0.682	0.647	0.703	0.065
BGE-base-en-v1.5	0.653	0.714	0.667	0.726	0.078
E5-base-v2	0.649	0.710	0.663	0.721	0.072
Hybrid BM25 + mpnet	0.679	0.711	0.698	0.730	–

I due modelli migliori sono statisticamente equivalenti su entrambe le attività (bootstrap appaiato, Attività 1 ΔMRR 0.003, IC 95% [-0.013, 0.019]; Attività 3 ΔMRR 0.004, IC 95% [-0.012, 0.020]).

Attività 2 (classificazione del tipo di exploit, 1.735 exploit di test). I transformer sono fine-tuned su un sottocampione di training di 15K.