Um benchmark padronizado para avaliar sistemas de alarme de segurança na Internet das Coisas Médicas (IoMT) - ataques, deteção, resiliência a falsos alarmes e latência.
Um benchmark contrafactual para ataques de integridade na Internet das Coisas Médicas.
Código complementar para "IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT".
Quando um alarme de UTI dispara, um detector de anomalias pode dizer que a leitura é incomum. Ele não consegue dizer por quê — deterioração genuína, uma falha de sensor, ou uma medição falsificada que se situa dentro do intervalo fisiológico. Responder a isso exige uma verdade de referência contrafactual: o que o alarme teria feito se a rede tivesse permanecido saudável. Nenhuma gravação coletada naturalmente contém isso, porque você nunca observa ambos os desfechos do mesmo evento.
Este benchmark fornece isso por construção. Ataques de integridade controlados são injetados em gravações genuínas e acopladas de ECG+PPG, e para cada janela atacada o sinal limpo que teria sido observado é retido.
| Janelas | 78.729 janelas rotuladas de 10 s, passo de 5 s, ECG+PPG de 2 canais a 125 Hz |
| Classes | 39.882 ataque · 32.875 fisiologia-normal · 5.350 falha/artefato · 622 evento-fisiológico |
| Espinha dorsal | 627 registros CinC 2015 contendo o par central ECG+PPG (231 alarmes verdadeiros / 396 falsos) |
| Espaço de injeção | {replay} ∪ (4 morfologias × 4 níveis de severidade × 2 regimes de plausibilidade) |
| Divisões | por paciente 436 / 91 / 100, estratificadas por tipo de arritmia |
| Contrafactual | sinal limpo pré-injeção exato retido por janela atacada |
Resultados principais. Nenhum detector entre cinco famílias de métodos excede consistentemente o limite de desempenho: ataques de replay e picos transitórios de baixa amplitude situam-se em 1,2–1,7× o acaso para todas as seis linhas de base. O detector mais forte em casos difíceis sinaliza janelas de falha/artefato a 5,3× sua própria taxa de falso alarme em dados normais — a ambiguidade ataque-versus-falha, localizada a uma relação de sinal específica e mensurável.
git clone https://github.com/techosystem/IoMT-SecAlarmBench.git
cd IoMT-SecAlarmBench
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
O PyTorch está fixado na build CUDA 12.8 usada nas execuções reportadas; consulte
docs/REPRODUCE.md para o URL do índice. A baseline clássica (Isolation
Forest), o gerador e a auditoria de fuga de dados são executados em CPU sem PyTorch.
Nada é redistribuído aqui (consulte LICENSE-DATA.md). Obtenha as fontes:
bash scripts/get_data.sh # downloads CinC 2015 into data/cinc2015/
WUSTL-EHMS-2020 deve ser solicitado aos seus autores e colocado em
data/wustl/wustl-ehms-2020.csv.
python src/injection_generator.py --config configs/benchmark.yaml --out data/benchmark/
Determinístico sob a seed configurada. Espera-se 78.729 janelas; o gerador imprime o histograma de classes para que você possa compará-lo com a tabela acima.
python scripts/run_all.py --config configs/benchmark.yaml --seeds 0 1 2 3 4 --deterministic
Isso grava um diretório com carimbo de data/hora em results/ contendo um
manifest.json que registra a configuração, as versões dos pacotes, a GPU e o
MD5 de cada módulo-fonte — incluindo as constantes de severidade da Tabela I.
As execuções reportadas são 20260730-205501 (Tabela III) e 20260730-222727
(Tabela IV). Pontos de entrada por componente:
| Seção do artigo | Comando |
|---|---|
| Detecção RQ1 (Tabela III) | python src/rq1_report.py |
| Furtividade RQ2 (Tabela IV) | python src/eval_harness.py --matched-far 0.10 |
| Discriminação RQ3 (Tabela V) | python src/rq3_discrimination.py |
| Eficiência RQ4 | python src/eval_harness.py --profile |
| Auditoria de vazamento | python src/wustl_leakage.py |
| Atribuição (adiada; ver §VIII) | python src/rq2_attribution_v3.py |
| Figuras | make figures |
Leia docs/REPRODUCE.md antes de comparar números. Duas regras não são
opcionais: compare detectores sem limiar ou com um orçamento de falsos alarmes
equivalente, nunca no ponto de F₁ máximo de cada método (ele varia em até ±0,234
entre seeds, enquanto a AUPRC sem limiar varia em ≤0,013), e reporte a AUPRC em
relação ao seu piso de aleatoriedade, que difere por subconjunto.
src/ generator, adapters, detectors, evaluation (flat imports; run from repo root)
scripts/ get_data.sh, run_all.py
configs/ benchmark.yaml, detectors.yaml
figures/ figure generation scripts
docs/ REPRODUCE.md
tests/ smoke tests
results/ run outputs (gitignored except manifest.json)
DATASHEET.md full datasheet, following Gebru et al.
Registados abertamente e discutidos no artigo:
Consulte CITATION.cff e cite também os corpora de origem.
Recomendado para benchmarking de deteção, discriminação, atribuição e auditoria de fuga de informação. Não destinado a decisões de implementação clínica, nem a treino de sistemas de alarme sem validação prospetiva.