---

HackerSignal est un jeu de données et un benchmark de renseignement sur les cybermenaces (CTI) qui relie ce dont les hackers discutent dans les communautés underground et de sécurité aux vulnérabilités concernées par ces discussions. Il agrège 7 447 646 documents dédupliqués exactement provenant de 64 identifiants publics de forums et de sources répartis sur huit couches de sources, depuis les forums de hackers et les archives d'exploits jusqu'aux descriptions de CVE de la NVD, aux avis de sécurité, aux rapports de bug bounty, aux commits de correction et aux vulnérabilités exploitées connues de la CISA. Au-dessus du corpus, il définit trois tâches de benchmark avec des découpages temporels entraînement/validation/test : la recherche de liens vers des CVE, la classification du type d'exploit en 8 classes, et la généralisation temporelle disjointe en CVE vers des vulnérabilités publiées après l'entraînement.

HackerSignal est publié dans la NeurIPS 2026 Evaluations & Datasets Track. Prépublication : arXiv:2605.03158.

En un coup d'œil

Documents	7 447 646 (dédupliqués exactement)
Sources	64 identifiants publics de forums / sources répartis en 8 couches de sources
Couche communauté hacker	6 966 014 messages (principaux forums : Gayanku, Antichat, Evolution, AntiOnline, HackForums)
Référence de vulnérabilités	340 536 descriptions de CVE de la NVD (le corpus de recherche pour les tâches 1 et 3)
Autres couches	Archives d'exploits, questions-réponses sur les exploits, avis de sécurité, divulgations de bug bounty, commits de correction, CISA KEV
Langues	Anglais et contenu non anglophone substantiel : russe (antichat, 1,82 M de messages), persan (persiantools, 280 K), et autres ; 30,2 % des messages de forum liés à des CVE sont à forte composante cyrillique
Période couverte	1988–2026
Découpages	Temporels : les données de test sont postérieures aux données d'entraînement dans chaque tâche
Métadonnées	Croissant JSON-LD, Datasheet for Datasets, manifeste de publication des sources
Licence	Données CC BY 4.0 (LICENSE-DATA), code MIT (LICENSE) ; conditions par source dans la gouvernance de publication

Tâches du benchmark

Tâche	Type	Entraînement	Validation	Test	Corpus / total	Métriques
1. Récupération de liens CVE (CVE-R)	Récupération	56 692	2 584	1 990	340 536	R@1, R@5, R@10, MRR
2. Classification du type d'exploit (ETC)	Classification en 8 classes	64 413	4 735	1 735	70 883	Macro-F1, F1 par classe
3. Généralisation temporelle (TG)	Récupération à CVE disjoints	56 833	2 535	1 898	340 536	R@1, R@5, R@10, MRR

• Tâche 1 (CVE-R) : à partir d'un texte d'exploit, d'avis, de commit de correctif ou de bug bounty, récupérer le CVE auquel il se réfère parmi les 340 536 descriptions NVD. Les liens de référence proviennent des métadonnées de la source.
• Tâche 2 (ETC) : classer le texte d'exploit en injection, XSS, corruption de mémoire, déni de service, inclusion de fichier, authentification et contrôle d'accès, exécution de code à distance ou divulgation d'informations. Entraînement < 2020, validation 2020–2022, test ≥ 2023.
• Tâche 3 (TG) : le problème de récupération de la Tâche 1 avec des ensembles de CVE de référence strictement disjoints : les CVE d'entraînement ont été publiés avant 2022, les CVE de validation en 2022–2023, et les CVE de test en 2024 ou après. Les requêtes de test de la Tâche 3 sont un sous-ensemble des requêtes de test de la Tâche 1.

L'échelle de référence couvre BM25, quatre bi-encodeurs denses (all-MiniLM-L6-v2, all-mpnet-base-v2, BGE-base-en-v1.5, E5-base-v2) et un hybride BM25 + dense pour la récupération, ainsi que Decision Tree, TF-IDF + régression logistique, SVM linéaire, RNN, GRU, LSTM, BiLSTM, SecBERT, SecureBERT et CySecBERT pour la classification. Les scores figurent dans Résultats de référence ci-dessous et dans l'article (Tableaux 5–7).

Résultats de référence

Chiffres de la version finale, reconstruits de bout en bout à partir des données publiées sur un seul Apple M5 Pro (PyTorch 2.14.1, MPS). Chaque valeur ci-dessous est générée à partir de results/camera_ready/results.csv ; les graines par exécution, les révisions de modèles et les hachages de données se trouvent dans results/camera_ready/provenance.json. La récupération utilise des encodeurs zero-shot sur l'ensemble des 340 536 descriptions NVD, et le MRR est le MRR@10. Le pilote de posts de forum masque chaque chaîne CVE dans les 1 964 posts de la communauté hacker liés à un CVE et récupère le CVE cité depuis le même corpus.

Modèle	Tâche 1 R@1	Tâche 1 MRR	Tâche 3 R@1	Tâche 3 MRR	Pilote posts de forum MRR
BM25	0.595	0.636	0.620	0.660	0.064
all-MiniLM-L6-v2	0.655	0.709	0.670	0.722	0.073
all-mpnet-base-v2	0.626	0.682	0.647	0.703	0.065
BGE-base-en-v1.5	0.653	0.714	0.667	0.726	0.078
E5-base-v2	0.649	0.710	0.663	0.721	0.072
Hybride BM25 + mpnet	0.679	0.711	0.698	0.730	–

Les deux meilleurs modèles sont statistiquement à égalité sur les deux tâches (bootstrap apparié, Tâche 1 ΔMRR 0.003, IC à 95 % [-0.013, 0.019] ; Tâche 3 ΔMRR 0.004, IC à 95 % [-0.012, 0.020]).

Tâche 2 (classification du type d'exploit, 1 735 exploits de test). Les Transformers sont affinés sur un sous-échantillon d'entraînement de 15K.