Un benchmark standardizzato per valutare i sistemi di allarme di sicurezza nell'Internet of Medical Things (IoMT) - attacchi, rilevamento, resilienza ai falsi allarmi e latenza.
Un benchmark controfattuale per gli attacchi all'integrità nell'Internet of Medical Things.
Codice complementare per "IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT".
Quando scatta un allarme in terapia intensiva, un rilevatore di anomalie può dirti che la lettura è insolita. Non può dirti perché — un deterioramento reale, un guasto del sensore, o una misurazione falsificata che rientra nell'intervallo fisiologico. Rispondere a questo richiede una verità di riferimento controfattuale: cosa avrebbe fatto l'allarme se la rete fosse rimasta sana. Nessuna registrazione raccolta naturalmente la contiene, perché non si osservano mai entrambi gli esiti dello stesso evento.
Questo benchmark la fornisce per costruzione. Attacchi controllati all'integrità vengono iniettati in registrazioni genuine accoppiate ECG+PPG, e per ogni finestra attaccata viene conservato il segnale pulito che sarebbe stato osservato.
| Finestre | 78.729 finestre etichettate da 10 s, passo di 5 s, ECG+PPG a 2 canali a 125 Hz |
| Classi | 39.882 attacco · 32.875 fisiologia-normale · 5.350 guasto/artefatto · 622 evento-fisiologico |
| Spina dorsale | 627 record CinC 2015 che portano la coppia centrale ECG+PPG (231 veri / 396 falsi allarmi) |
| Spazio di iniezione | {replay} ∪ (4 morfologie × 4 livelli di gravità × 2 regimi di plausibilità) |
| Suddivisioni | per paziente 436 / 91 / 100, stratificate per tipo di aritmia |
| Controfattuale | segnale pulito pre-iniezione esatto conservato per ogni finestra attaccata |
Risultati principali. Nessun rilevatore tra cinque famiglie di metodi supera costantemente il limite di prestazione: gli attacchi replay e i picchi transitori a bassa ampiezza si collocano a 1,2–1,7× il caso per tutti e sei i baseline. Il rilevatore più forte sui casi difficili segnala finestre di guasto/artefatto a 5,3× il proprio tasso di falsi allarmi sui dati normali — l'ambiguità attacco-versus-guasto, localizzata a una specifica, misurabile relazione del segnale.
git clone https://github.com/techosystem/IoMT-SecAlarmBench.git
cd IoMT-SecAlarmBench
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
PyTorch è fissato alla build CUDA 12.8 utilizzata per le esecuzioni riportate; consultare
docs/REPRODUCE.md per l'URL dell'indice. La baseline classica (Isolation
Forest), il generatore e l'audit di leakage vengono eseguiti su CPU senza PyTorch.
Qui non viene ridistribuito nulla (vedere LICENSE-DATA.md). Recuperare le fonti:
bash scripts/get_data.sh # downloads CinC 2015 into data/cinc2015/
WUSTL-EHMS-2020 deve essere richiesto ai suoi autori e inserito in
data/wustl/wustl-ehms-2020.csv.
python src/injection_generator.py --config configs/benchmark.yaml --out data/benchmark/
Deterministico con il seed configurato. Attendersi 78.729 finestre; il generatore stampa l'istogramma delle classi così puoi confrontarlo con la tabella sopra.
python scripts/run_all.py --config configs/benchmark.yaml --seeds 0 1 2 3 4 --deterministic
Questo scrive una directory con timestamp sotto results/ contenente un
manifest.json che registra la configurazione, le versioni dei pacchetti, la GPU e
l'MD5 di ogni modulo sorgente — incluse le costanti di severità della Tabella I.
Le esecuzioni riportate sono 20260730-205501 (Tabella III) e 20260730-222727
(Tabella IV). Punti di ingresso per componente:
| Sezione dell'articolo | Comando |
|---|---|
| Rilevamento RQ1 (Tabella III) | python src/rq1_report.py |
| Furtività RQ2 (Tabella IV) | python src/eval_harness.py --matched-far 0.10 |
| Discriminazione RQ3 (Tabella V) | python src/rq3_discrimination.py |
| Efficienza RQ4 | python src/eval_harness.py --profile |
| Audit di leakage | python src/wustl_leakage.py |
| Attribuzione (rinviata; vedi §VIII) | python src/rq2_attribution_v3.py |
| Figure | make figures |
Leggere docs/REPRODUCE.md prima di confrontare i numeri. Due regole non
sono opzionali: confrontare i rilevatori senza soglia o a un budget di falsi allarmi
equivalente, mai al punto di max-F₁ di ciascun metodo (si sposta fino a ±0.234 tra i seed
mentre l'AUPRC senza soglia si sposta di ≤0.013), e riportare l'AUPRC rispetto al suo
livello di riferimento casuale, che differisce per sottoinsieme.
src/ generator, adapters, detectors, evaluation (flat imports; run from repo root)
scripts/ get_data.sh, run_all.py
configs/ benchmark.yaml, detectors.yaml
figures/ figure generation scripts
docs/ REPRODUCE.md
tests/ smoke tests
results/ run outputs (gitignored except manifest.json)
DATASHEET.md full datasheet, following Gebru et al.
Documentati apertamente e discussi nel paper:
Vedi CITATION.cff e cita anche i corpus di origine.
Consigliato per il benchmarking di rilevamento, discriminazione, attribuzione e auditing delle perdite di dati. Non destinato a decisioni di implementazione clinica, né all'addestramento di sistemi di allarme senza validazione prospettica.