Un benchmark estandarizado para evaluar sistemas de alarma de seguridad en el Internet de las Cosas Médicas (IoMT): ataques, detección, resiliencia ante falsas alarmas y latencia.
Un benchmark contrafactual para ataques de integridad en el Internet de las Cosas Médicas.
Código complementario de "IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT".
Cuando se dispara una alarma de UCI, un detector de anomalías puede indicarte que la lectura es inusual. No puede decirte por qué — un deterioro genuino, un fallo del sensor o una medición falsificada que se sitúa dentro del rango fisiológico. Responder a eso requiere una verdad fundamental contrafactual: qué habría hecho la alarma si la red hubiera permanecido sana. Ninguna grabación recopilada de forma natural la contiene, porque nunca se observan ambos resultados del mismo evento.
Este benchmark la proporciona por construcción. Se inyectan ataques de integridad controlados en grabaciones genuinas acopladas de ECG+PPG, y para cada ventana atacada se conserva la señal limpia que se habría observado.
| Ventanas | 78.729 ventanas etiquetadas de 10 s, paso de 5 s, ECG+PPG de 2 canales a 125 Hz |
| Clases | 39.882 ataque · 32.875 fisiología-normal · 5.350 fallo/artefacto · 622 evento-fisiológico |
| Columna vertebral | 627 registros CinC 2015 que portan el par central ECG+PPG (231 alarmas verdaderas / 396 falsas) |
| Espacio de inyección | {replay} ∪ (4 morfologías × 4 niveles de gravedad × 2 regímenes de plausibilidad) |
| Particiones | por paciente 436 / 91 / 100, estratificadas por tipo de arritmia |
| Contrafactual | señal limpia exacta previa a la inyección conservada por ventana atacada |
Resultados destacados. Ningún detector entre cinco familias de métodos supera de forma consistente el límite de rendimiento: los ataques de replay y los picos transitorios de baja amplitud se sitúan en 1,2–1,7× el azar para las seis líneas base. El detector más fuerte en casos difíciles marca ventanas de fallo/artefacto a 5,3× su propia tasa de falsas alarmas en datos normales — la ambigüedad ataque-versus-fallo, localizada en una relación de señal específica y medible.
git clone https://github.com/techosystem/IoMT-SecAlarmBench.git
cd IoMT-SecAlarmBench
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
PyTorch está fijado a la compilación de CUDA 12.8 utilizada para las ejecuciones reportadas; consulta
docs/REPRODUCE.md para la URL del índice. La línea base clásica (Isolation
Forest), el generador y la auditoría de fuga se ejecutan en CPU sin PyTorch.
Aquí no se redistribuye nada (consulta LICENSE-DATA.md). Obtén las fuentes:
bash scripts/get_data.sh # downloads CinC 2015 into data/cinc2015/
WUSTL-EHMS-2020 debe solicitarse a sus autores y colocarse en
data/wustl/wustl-ehms-2020.csv.
python src/injection_generator.py --config configs/benchmark.yaml --out data/benchmark/
Determinista bajo la semilla configurada. Se esperan 78.729 ventanas; el generador imprime el histograma de clases para que puedas compararlo con la tabla anterior.
python scripts/run_all.py --config configs/benchmark.yaml --seeds 0 1 2 3 4 --deterministic
Esto escribe un directorio con marca de tiempo bajo results/ que contiene un
manifest.json que registra la configuración, las versiones de los paquetes, la GPU y el
MD5 de cada módulo fuente — incluidos los valores constantes de severidad de la Tabla I.
Las ejecuciones reportadas son 20260730-205501 (Tabla III) y 20260730-222727
(Tabla IV). Puntos de entrada por componente:
| Sección del artículo | Comando |
|---|---|
| Detección RQ1 (Tabla III) | python src/rq1_report.py |
| Sigilo RQ2 (Tabla IV) | python src/eval_harness.py --matched-far 0.10 |
| Discriminación RQ3 (Tabla V) | python src/rq3_discrimination.py |
| Eficiencia RQ4 | python src/eval_harness.py --profile |
| Auditoría de fuga | python src/wustl_leakage.py |
| Atribución (aplazada; véase §VIII) | python src/rq2_attribution_v3.py |
| Figuras | make figures |
Lea docs/REPRODUCE.md antes de comparar cifras. Dos reglas no son
opcionales: compare los detectores sin umbral o con un presupuesto de falsas alarmas emparejado,
nunca en el punto de F₁ máxima propio de cada método (se desplaza hasta ±0.234 entre semillas
mientras que el AUPRC sin umbral se desplaza ≤0.013), y reporte el AUPRC frente a su
nivel base aleatorio, que difiere por subconjunto.
src/ generator, adapters, detectors, evaluation (flat imports; run from repo root)
scripts/ get_data.sh, run_all.py
configs/ benchmark.yaml, detectors.yaml
figures/ figure generation scripts
docs/ REPRODUCE.md
tests/ smoke tests
results/ run outputs (gitignored except manifest.json)
DATASHEET.md full datasheet, following Gebru et al.
Registrados abiertamente y discutidos en el artículo:
Consulte CITATION.cff y cite también los corpus de origen.
Recomendado para la evaluación comparativa de detección, discriminación, atribución y auditoría de fugas. No para decisiones de despliegue clínico, ni para entrenar sistemas de alarma sin validación prospectiva.