---

HackerSignal ist ein Datensatz und Benchmark für Cyber Threat Intelligence (CTI), der verknüpft, worüber Hacker in Untergrund- und Sicherheitscommunities diskutieren, mit den Schwachstellen, auf die sich diese Diskussionen beziehen. Er aggregiert 7.447.646 exakt deduplizierte Dokumente aus 64 öffentlichen Forum- und Quellen-Identifikatoren über acht Quellen- schichten hinweg, von Hacker-Foren und Exploit-Archiven bis hin zu NVD-CVE-Beschreibungen, Sicherheitshinweisen, Bug-Bounty-Berichten, Fix-Commits und CISA Known Exploited Vulnerabilities. Aufbauend auf dem Korpus definiert er drei Benchmark-Aufgaben mit zeitlichen Train/Validation/Test-Splits: CVE-Verknüpfungs-Retrieval, 8-Klassen-Klassifikation von Exploit-Typen und CVE-disjunkte zeitliche Generalisierung auf Schwachstellen, die nach dem Training veröffentlicht wurden.

HackerSignal ist im NeurIPS 2026 Evaluations & Datasets Track veröffentlicht. Preprint: arXiv:2605.03158.

Auf einen Blick

Dokumente	7.447.646 (exakt dedupliziert)
Quellen	64 öffentliche Forum- / Quellen-Identifikatoren in 8 Quellenschichten
Hacker-Community-Schicht	6.966.014 Posts (größte Foren: Gayanku, Antichat, Evolution, AntiOnline, HackForums)
Schwachstellen-Referenz	340.536 NVD-CVE-Beschreibungen (der Retrieval-Korpus für Aufgaben 1 und 3)
Weitere Schichten	Exploit-Archive, Exploit-Q&A, Sicherheitshinweise, Bug-Bounty-Offenlegungen, Fix-Commits, CISA KEV
Sprachen	Englisch sowie umfangreiche nicht-englische Inhalte: Russisch (antichat, 1,82 Mio. Posts), Persisch (persiantools, 280K) und weitere; 30,2 % der CVE-verknüpften Forum-Posts sind stark kyrillisch geprägt
Zeitspanne	1988–2026
Splits	Zeitlich: Testdaten sind in jeder Aufgabe jünger als die Trainingsdaten
Metadaten	Croissant JSON-LD, Datasheet for Datasets, Quellen-Release-Manifest
Lizenz	Daten CC BY 4.0 (LICENSE-DATA), Code MIT (LICENSE); quellenspezifische Bedingungen in Release-Governance

Benchmark-Aufgaben

Aufgabe	Typ	Training	Val	Test	Korpus / gesamt	Metriken
1. CVE-Linkage-Retrieval (CVE-R)	Retrieval	56.692	2.584	1.990	340.536	R@1, R@5, R@10, MRR
2. Exploit-Typ-Klassifikation (ETC)	8-Klassen-Klassifikation	64.413	4.735	1.735	70.883	Macro-F1, F1 pro Klasse
3. Zeitliche Generalisierung (TG)	CVE-disjunkte Retrieval	56.833	2.535	1.898	340.536	R@1, R@5, R@10, MRR

• Aufgabe 1 (CVE-R): Gegeben sei Exploit-, Advisory-, Fix-Commit- oder Bug-Bounty-Text; rufe die CVE ab, auf die er sich bezieht, aus allen 340.536 NVD-Beschreibungen. Gold-Links stammen aus den Quell-Metadaten.
• Aufgabe 2 (ETC): Klassifiziere Exploit-Text in Injection, XSS, Memory Corruption, Denial of Service, File Inclusion, Authentifizierung und Zugriffskontrolle, Remote Code Execution oder Informationsoffenlegung. Training < 2020, Validierung 2020–2022, Test ≥ 2023.
• Aufgabe 3 (TG): Das Retrieval-Problem aus Aufgabe 1 mit strikt disjunkten Gold-CVE-Mengen: Trainings-CVEs wurden vor 2022 veröffentlicht, Validierungs-CVEs in 2022–2023 und Test-CVEs in 2024 oder später. Die Test-Queries von Aufgabe 3 sind eine Teilmenge der Test-Queries von Aufgabe 1.

Die Baseline-Leiter umfasst BM25, vier dichte Bi-Encoder (all-MiniLM-L6-v2, all-mpnet-base-v2, BGE-base-en-v1.5, E5-base-v2) und einen BM25 + Dense-Hybrid für Retrieval sowie Decision Tree, TF-IDF + logistische Regression, lineare SVM, RNN, GRU, LSTM, BiLSTM, SecBERT, SecureBERT und CySecBERT für die Klassifikation. Die Werte stehen in Baseline-Ergebnisse unten und im Paper (Tabellen 5–7).

Baseline-Ergebnisse

Camera-Ready-Zahlen, von Grund auf neu erstellt aus den veröffentlichten Daten auf einem Apple M5 Pro (PyTorch 2.14.1, MPS). Jeder Wert unten wird aus results/camera_ready/results.csv generiert; Seeds pro Lauf, Modell-Revisionen und Daten- Hashes stehen in results/camera_ready/provenance.json. Retrieval verwendet Zero-Shot-Encoder über alle 340.536 NVD- Beschreibungen, und MRR ist MRR@10. Der Forum-Post-Pilot maskiert jeden CVE-String in den 1.964 CVE-verknüpften Hacker-Community-Posts und ruft die zitierte CVE aus demselben Korpus ab.

Modell	Aufgabe 1 R@1	Aufgabe 1 MRR	Aufgabe 3 R@1	Aufgabe 3 MRR	Forum-Post-Pilot MRR
BM25	0.595	0.636	0.620	0.660	0.064
all-MiniLM-L6-v2	0.655	0.709	0.670	0.722	0.073
all-mpnet-base-v2	0.626	0.682	0.647	0.703	0.065
BGE-base-en-v1.5	0.653	0.714	0.667	0.726	0.078
E5-base-v2	0.649	0.710	0.663	0.721	0.072
Hybrid BM25 + mpnet	0.679	0.711	0.698	0.730	–

Die beiden besten Modelle sind bei beiden Aufgaben statistisch gleichauf (gepaarter Bootstrap, Aufgabe 1 ΔMRR 0.003, 95%-KI [-0.013, 0.019]; Aufgabe 3 ΔMRR 0.004, 95%-KI [-0.012, 0.020]).

Aufgabe 2 (Exploit-Typ-Klassifikation, 1.735 Test-Exploits). Transformer werden auf einer Trainings-Teilmenge von 15K feinabgestimmt.

Modell	Macro-F1 (Mittelwert ± SD, 3 Seeds)	95%-KI
Decision Tree	0.702 ± 0.007	[0.677, 0.727]
TF-IDF + LR	0.772 ± 0.000	[0.744, 0.795]
SVM	0.799 ± 0.000	[0.773, 0.822]
RNN	0.436 ± 0.031	[0.415, 0.455]
GRU	0.858 ± 0.001	[0.840, 0.874]
LSTM	0.824 ± 0.013	[0.804, 0.841]
BiLSTM	0.856 ± 0.003	[0.837, 0.872]
SecBERT	0.852 ± 0.007	[0.833, 0.870]
SecureBERT	0.892 ± 0.008	[0.875, 0.907]
CySecBERT	0.898 ± 0.003	[0.882, 0.913]