---

HackerSignal es un conjunto de datos y benchmark de inteligencia de amenazas cibernéticas (CTI) que vincula lo que los hackers discuten en comunidades subterráneas y de seguridad con las vulnerabilidades a las que conciernen esas discusiones. Agrega 7.447.646 documentos deduplicados exactamente de 64 identificadores públicos de foros y fuentes a través de ocho capas de fuentes, desde foros de hackers y archivos de exploits hasta descripciones de CVE de NVD, avisos de seguridad, informes de bug-bounty, commits de corrección y CISA Known Exploited Vulnerabilities. Sobre el corpus define tres tareas de benchmark con divisiones temporales de entrenamiento/validación/prueba: recuperación de vinculación de CVE, clasificación de tipos de exploit en 8 clases y generalización temporal disjunta de CVE a vulnerabilidades publicadas después del entrenamiento.

HackerSignal se publica en el NeurIPS 2026 Evaluations & Datasets Track. Preprint: arXiv:2605.03158.

De un vistazo

Documentos	7.447.646 (deduplicados exactamente)
Fuentes	64 identificadores públicos de foros / fuentes en 8 capas de fuentes
Capa de comunidad hacker	6.966.014 publicaciones (foros más grandes: Gayanku, Antichat, Evolution, AntiOnline, HackForums)
Referencia de vulnerabilidades	340.536 descripciones de CVE de NVD (el corpus de recuperación para las tareas 1 y 3)
Otras capas	Archivos de exploits, preguntas y respuestas sobre exploits, avisos, divulgaciones de bug-bounty, commits de corrección, CISA KEV
Idiomas	Inglés más contenido sustancial en otros idiomas: ruso (antichat, 1,82M de publicaciones), persa (persiantools, 280K) y otros; el 30,2% de las publicaciones de foros vinculadas a CVE tienen predominancia cirílica
Rango temporal	1988–2026
Divisiones	Temporales: los datos de prueba son posteriores a los datos de entrenamiento en cada tarea
Metadatos	Croissant JSON-LD, Datasheet for Datasets, manifiesto de publicación de fuentes
Licencia	Datos CC BY 4.0 (LICENSE-DATA), código MIT (LICENSE); términos por fuente en gobernanza de publicación

Tareas del benchmark

Tarea	Tipo	Entrenamiento	Validación	Prueba	Corpus / total	Métricas
1. Recuperación de enlaces CVE (CVE-R)	Recuperación	56.692	2.584	1.990	340.536	R@1, R@5, R@10, MRR
2. Clasificación de tipo de exploit (ETC)	Clasificación en 8 clases	64.413	4.735	1.735	70.883	Macro-F1, F1 por clase
3. Generalización temporal (TG)	Recuperación con CVEs disjuntos	56.833	2.535	1.898	340.536	R@1, R@5, R@10, MRR

• Tarea 1 (CVE-R): dado un texto de exploit, aviso de seguridad, commit de corrección o bug bounty, recuperar el CVE al que se refiere entre las 340.536 descripciones de NVD. Los enlaces de referencia provienen de los metadatos de origen.
• Tarea 2 (ETC): clasificar el texto de un exploit en inyección, XSS, corrupción de memoria, denegación de servicio, inclusión de archivos, autenticación y control de acceso, ejecución remota de código o divulgación de información. Entrenamiento < 2020, validación 2020–2022, prueba ≥ 2023.
• Tarea 3 (TG): el problema de recuperación de la Tarea 1 con conjuntos de CVEs de referencia estrictamente disjuntos: los CVEs de entrenamiento se publicaron antes de 2022, los de validación en 2022–2023 y los de prueba en 2024 o después. Las consultas de prueba de la Tarea 3 son un subconjunto de las consultas de prueba de la Tarea 1.

La escalera de líneas base abarca BM25, cuatro bi-encoders densos (all-MiniLM-L6-v2, all-mpnet-base-v2, BGE-base-en-v1.5, E5-base-v2) y un híbrido BM25 + denso para la recuperación, y Decision Tree, TF-IDF + regresión logística, SVM lineal, RNN, GRU, LSTM, BiLSTM, SecBERT, SecureBERT y CySecBERT para la clasificación. Las puntuaciones están en Resultados de las líneas base más abajo y en el artículo (Tablas 5–7).

Resultados de las líneas base

Cifras de la versión final (camera-ready), reconstruidas de extremo a extremo a partir de los datos publicados en un único Apple M5 Pro (PyTorch 2.14.1, MPS). Cada valor a continuación se genera a partir de results/camera_ready/results.csv; las semillas por ejecución, las revisiones de los modelos y los hashes de los datos están en results/camera_ready/provenance.json. La recuperación utiliza encoders zero-shot sobre las 340.536 descripciones de NVD, y MRR es MRR@10. El piloto de publicaciones de foro enmascara cada cadena de CVE en las 1.964 publicaciones de la comunidad hacker vinculadas a CVEs y recupera el CVE citado del mismo corpus.

Modelo	Tarea 1 R@1	Tarea 1 MRR	Tarea 3 R@1	Tarea 3 MRR	MRR del piloto de publicaciones de foro
BM25	0.595	0.636	0.620	0.660	0.064
all-MiniLM-L6-v2	0.655	0.709	0.670	0.722	0.073
all-mpnet-base-v2	0.626	0.682	0.647	0.703	0.065
BGE-base-en-v1.5	0.653	0.714	0.667	0.726	0.078
E5-base-v2	0.649	0.710	0.663	0.721	0.072
Híbrido BM25 + mpnet	0.679	0.711	0.698	0.730	–

Los dos mejores modelos están estadísticamente empatados en ambas tareas (bootstrap emparejado, Tarea 1 ΔMRR 0.003, IC del 95% [-0.013, 0.019]; Tarea 3 ΔMRR 0.004, IC del 95% [-0.012, 0.020]).

Tarea 2 (clasificación de tipo de exploit, 1.735 exploits de prueba). Los transformers se ajustan finamente sobre una submuestra de entrenamiento de 15K.