---

HackerSignal — это датасет и бенчмарк для киберразведки угроз (CTI), связывающий то, что хакеры обсуждают в подпольных и security-сообществах, с уязвимостями, которых эти обсуждения касаются. Он объединяет 7 447 646 документов после точной дедупликации из 64 публичных форумов и идентификаторов источников в восьми слоях источников — от хакерских форумов и архивов эксплойтов до описаний CVE из NVD, security-рекомендаций, отчётов bug-bounty, коммитов с исправлениями и CISA Known Exploited Vulnerabilities. Поверх корпуса определены три задачи бенчмарка с временными разбиениями train/validation/test: поиск связей с CVE, 8-классовая классификация типов эксплойтов и временное обобщение на непересекающиеся по CVE уязвимости, опубликованные после обучения.

HackerSignal опубликован в NeurIPS 2026 Evaluations & Datasets Track. Препринт: arXiv:2605.03158.

Краткий обзор

Документы	7 447 646 (после точной дедупликации)
Источники	64 публичных форума / идентификатора источников в 8 слоях источников
Слой хакерских сообществ	6 966 014 постов (крупнейшие форумы: Gayanku, Antichat, Evolution, AntiOnline, HackForums)
Справочник уязвимостей	340 536 описаний CVE из NVD (корпус поиска для задач 1 и 3)
Прочие слои	Архивы эксплойтов, Q&A по эксплойтам, рекомендации, раскрытия bug-bounty, коммиты с исправлениями, CISA KEV
Языки	Английский и значительный объём неанглоязычного контента: русский (antichat, 1,82 млн постов), персидский (persiantools, 280 тыс.) и другие; 30,2% постов форумов, связанных с CVE, содержат преимущественно кириллицу
Временной охват	1988–2026
Разбиения	Временные: тестовые данные датированы позже обучающих в каждой задаче
Метаданные	Croissant JSON-LD, Datasheet for Datasets, манифест релиза источников
Лицензия	Данные CC BY 4.0 (LICENSE-DATA), код MIT (LICENSE); условия по источникам в release governance

Задачи бенчмарка

Задача	Тип	Train	Val	Test	Корпус / всего	Метрики
1. CVE Linkage Retrieval (CVE-R)	Retrieval	56,692	2,584	1,990	340,536	R@1, R@5, R@10, MRR
2. Exploit Type Classification (ETC)	8-class classification	64,413	4,735	1,735	70,883	Macro-F1, per-class F1
3. Temporal Generalization (TG)	CVE-disjoint retrieval	56,833	2,535	1,898	340,536	R@1, R@5, R@10, MRR

• Задача 1 (CVE-R): по тексту эксплойта, advisory, fix-commit или bug-bounty необходимо найти CVE, на который он ссылается, среди всех 340,536 описаний NVD. Эталонные связи берутся из метаданных источника.
• Задача 2 (ETC): классифицировать текст эксплойта по категориям: injection, XSS, memory corruption, denial of service, file inclusion, authentication and access control, remote code execution или information disclosure. Train < 2020, validation 2020–2022, test ≥ 2023.
• Задача 3 (TG): задача поиска из Задачи 1 со строго непересекающимися наборами эталонных CVE: обучающие CVE были опубликованы до 2022 года, валидационные CVE — в 2022–2023 годах, а тестовые CVE — в 2024 году или позже. Тестовые запросы Задачи 3 являются подмножеством тестовых запросов Задачи 1.

Базовая линейка включает BM25, четыре плотных би-энкодера (all-MiniLM-L6-v2, all-mpnet-base-v2, BGE-base-en-v1.5, E5-base-v2) и гибрид BM25 + dense для поиска, а также Decision Tree, TF-IDF + logistic regression, linear SVM, RNN, GRU, LSTM, BiLSTM, SecBERT, SecureBERT и CySecBERT для классификации. Оценки приведены в Baseline results ниже и в статье (таблицы 5–7).

Baseline results

Числа из camera-ready версии, полностью пересобранные из опубликованных данных на одном Apple M5 Pro (PyTorch 2.14.1, MPS). Каждое значение ниже сгенерировано из results/camera_ready/results.csv; сиды отдельных запусков, ревизии моделей и хеши данных находятся в results/camera_ready/provenance.json. Для поиска используются zero-shot энкодеры по всем 340,536 описаниям NVD, а MRR — это MRR@10. Пилот с форумными постами маскирует каждую строку CVE в 1,964 постах хакерского сообщества, связанных с CVE, и находит упомянутый CVE в том же корпусе.

Модель	Задача 1 R@1	Задача 1 MRR	Задача 3 R@1	Задача 3 MRR	Пилот с форумными постами MRR
BM25	0.595	0.636	0.620	0.660	0.064
all-MiniLM-L6-v2	0.655	0.709	0.670	0.722	0.073
all-mpnet-base-v2	0.626	0.682	0.647	0.703	0.065
BGE-base-en-v1.5	0.653	0.714	0.667	0.726	0.078
E5-base-v2	0.649	0.710	0.663	0.721	0.072
Hybrid BM25 + mpnet	0.679	0.711	0.698	0.730	–

Две лучшие модели статистически неразличимы в обеих задачах (парный бутстрэп, Задача 1 ΔMRR 0.003, 95% CI [-0.013, 0.019]; Задача 3 ΔMRR 0.004, 95% CI [-0.012, 0.020]).

Задача 2 (классификация типа эксплойта, 1,735 тестовых эксплойтов). Трансформеры дообучаются на подвыборке из 15K обучающих примеров.

Модель	Macro-F1 (среднее ± SD, 3 сида)	95% CI
Decision Tree	0.702 ± 0.007	[0.677, 0.727]
TF-IDF + LR	0.772 ± 0.000	[0.744, 0.795]
SVM	0.799 ± 0.000	[0.773, 0.822]
RNN	0.436 ± 0.031	[0.415, 0.455]
GRU	0.858 ± 0.001	[0.840, 0.874]
LSTM	0.824 ± 0.013	[0.804, 0.841]
BiLSTM	0.856 ± 0.003	[0.837, 0.872]
SecBERT	0.852 ± 0.007	[0.833, 0.870]
SecureBERT	0.892 ± 0.008	[0.875, 0.907]
CySecBERT	0.898 ± 0.003	[0.882, 0.913]

CySecBERT и SecureBERT значимо не различаются (парная Δ 0.006, 95% CI [-0.003, 0.016]).

Быстрый старт