---

HackerSignal é um conjunto de dados e benchmark de inteligência de ameaças cibernéticas (CTI) que vincula o que os hackers discutem em comunidades subterrâneas e de segurança às vulnerabilidades às quais essas discussões se referem. Ele agrega 7.447.646 documentos com deduplicação exata provenientes de 64 identificadores públicos de fóruns e fontes em oito camadas de fontes, desde fóruns de hackers e arquivos de exploits até descrições de CVEs do NVD, avisos de segurança, relatórios de bug-bounty, commits de correção e CISA Known Exploited Vulnerabilities. Sobre o corpus, ele define três tarefas de benchmark com divisões temporais de treino/validação/teste: recuperação de vinculação a CVEs, classificação de tipo de exploit em 8 classes e generalização temporal disjunta de CVEs para vulnerabilidades publicadas após o treinamento.

HackerSignal é publicado na NeurIPS 2026 Evaluations & Datasets Track. Pré-print: arXiv:2605.03158.

Visão geral

Documentos	7.447.646 (com deduplicação exata)
Fontes	64 identificadores públicos de fóruns / fontes em 8 camadas de fontes
Camada da comunidade hacker	6.966.014 posts (maiores fóruns: Gayanku, Antichat, Evolution, AntiOnline, HackForums)
Referência de vulnerabilidades	340.536 descrições de CVEs do NVD (o corpus de recuperação para as Tarefas 1 e 3)
Outras camadas	Arquivos de exploits, perguntas e respostas sobre exploits, avisos, divulgações de bug-bounty, commits de correção, CISA KEV
Idiomas	Inglês e conteúdo substancial em outros idiomas: russo (antichat, 1,82M de posts), persa (persiantools, 280K) e outros; 30,2% dos posts de fórum vinculados a CVEs são predominantemente em cirílico
Período temporal	1988–2026
Divisões	Temporais: os dados de teste são posteriores aos dados de treino em todas as tarefas
Metadados	Croissant JSON-LD, Datasheet for Datasets, manifesto de lançamento das fontes
Licença	Dados CC BY 4.0 (LICENSE-DATA), código MIT (LICENSE); termos por fonte em governança de lançamento

Tarefas de benchmark

Tarefa	Tipo	Treino	Val	Teste	Corpus / total	Métricas
1. Recuperação de Vinculação de CVE (CVE-R)	Recuperação	56.692	2.584	1.990	340.536	R@1, R@5, R@10, MRR
2. Classificação de Tipo de Exploit (ETC)	Classificação em 8 classes	64.413	4.735	1.735	70.883	Macro-F1, F1 por classe
3. Generalização Temporal (TG)	Recuperação com CVEs disjuntos	56.833	2.535	1.898	340.536	R@1, R@5, R@10, MRR

• Tarefa 1 (CVE-R): dado um texto de exploit, advisory, commit de correção ou bug-bounty, recuperar o CVE a que se refere entre todas as 340.536 descrições do NVD. Os vínculos gold vêm dos metadados da fonte.
• Tarefa 2 (ETC): classificar o texto do exploit em injeção, XSS, corrupção de memória, negação de serviço, inclusão de ficheiro, autenticação e controlo de acesso, execução remota de código ou divulgação de informação. Treino < 2020, validação 2020–2022, teste ≥ 2023.
• Tarefa 3 (TG): o problema de recuperação da Tarefa 1 com conjuntos de CVEs gold estritamente disjuntos: os CVEs de treino foram publicados antes de 2022, os CVEs de validação em 2022–2023 e os CVEs de teste em 2024 ou posterior. As consultas de teste da Tarefa 3 são um subconjunto das consultas de teste da Tarefa 1.

A escada de baselines abrange BM25, quatro bi-encoders densos (all-MiniLM-L6-v2, all-mpnet-base-v2, BGE-base-en-v1.5, E5-base-v2) e um híbrido BM25 + denso para recuperação, e Decision Tree, TF-IDF + regressão logística, SVM linear, RNN, GRU, LSTM, BiLSTM, SecBERT, SecureBERT e CySecBERT para classificação. As pontuações estão em Resultados de baseline abaixo e no artigo (Tabelas 5–7).

Resultados de baseline

Números camera-ready, reconstruídos de ponta a ponta a partir dos dados publicados num único Apple M5 Pro (PyTorch 2.14.1, MPS). Todos os valores abaixo são gerados a partir de results/camera_ready/results.csv; as seeds por execução, as revisões dos modelos e os hashes dos dados estão em results/camera_ready/provenance.json. A recuperação usa encoders zero-shot sobre todas as 340.536 descrições do NVD, e o MRR é MRR@10. O piloto de posts de fórum mascara todas as strings de CVE nos 1.964 posts da comunidade hacker ligados a CVEs e recupera o CVE citado a partir do mesmo corpus.

Modelo	Tarefa 1 R@1	Tarefa 1 MRR	Tarefa 3 R@1	Tarefa 3 MRR	MRR do piloto de posts de fórum
BM25	0.595	0.636	0.620	0.660	0.064
all-MiniLM-L6-v2	0.655	0.709	0.670	0.722	0.073
all-mpnet-base-v2	0.626	0.682	0.647	0.703	0.065
BGE-base-en-v1.5	0.653	0.714	0.667	0.726	0.078
E5-base-v2	0.649	0.710	0.663	0.721	0.072
Híbrido BM25 + mpnet	0.679	0.711	0.698	0.730	–

Os dois melhores modelos estão estatisticamente empatados em ambas as tarefas (bootstrap emparelhado, Tarefa 1 ΔMRR 0.003, IC 95% [-0.013, 0.019]; Tarefa 3 ΔMRR 0.004, IC 95% [-0.012, 0.020]).

Tarefa 2 (classificação de tipo de exploit, 1.735 exploits de teste). Os Transformers são afinados numa subamostra de treino de 15K.