Ein standardisierter Benchmark zur Bewertung von Sicherheitsalarmsystemen im Internet of Medical Things (IoMT) – Angriffe, Erkennung, Fehlalarmresistenz und Latenz.
Ein kontrafaktischer Benchmark für Integritätsangriffe im Internet of Medical Things.
Begleitcode zu „IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT".
Wenn ein Alarm auf der Intensivstation ausgelöst wird, kann ein Anomalie-Detektor Ihnen sagen, dass der Messwert ungewöhnlich ist. Er kann Ihnen nicht sagen, warum — echte Verschlechterung, ein Sensorfehler oder eine gefälschte Messung, die innerhalb des physiologischen Bereichs liegt. Um das zu beantworten, braucht man kontrafaktische Ground Truth: was der Alarm getan hätte, wäre das Netzwerk gesund geblieben. Keine natürlich aufgezeichnete Aufnahme enthält sie, denn man beobachtet nie beide Ausgänge desselben Ereignisses.
Dieser Benchmark liefert sie durch Konstruktion. Kontrollierte Integritätsangriffe werden in echte gekoppelte ECG+PPG-Aufzeichnungen injiziert, und für jedes angegriffene Fenster wird das saubere Signal, das beobachtet worden wäre, beibehalten.
| Fenster | 78.729 gelabelte 10-s-Fenster, 5-s-Schritt, 2-Kanal-ECG+PPG bei 125 Hz |
| Klassen | 39.882 Angriff · 32.875 physiologisch normal · 5.350 Fehler/Artefakt · 622 physiologisches Ereignis |
| Rückgrat | 627 CinC-2015-Aufzeichnungen mit dem ECG+PPG-Kernpaar (231 echte / 396 falsche Alarme) |
| Injektionsraum | {Replay} ∪ (4 Morphologien × 4 Schweregrade × 2 Plausibilitätsregime) |
| Splits | patientenweise 436 / 91 / 100, stratifiziert nach Arrhythmietyp |
| Kontrafaktisch | exaktes sauberes Signal vor der Injektion pro angegriffenem Fenster beibehalten |
Zentrale Ergebnisse. Kein Detektor aus fünf Methodenfamilien überschreitet konsistent die Leistungsgrenze: Replay-Angriffe und niederamplitudige transiente Spikes liegen bei allen sechs Baselines bei 1,2–1,7× Zufall. Der stärkste Detektor bei schwierigen Fällen markiert Fehler/Artefakt-Fenster mit 5,3× seiner eigenen Falschalarmrate bei normalen Daten — die Ambiguität zwischen Angriff und Fehler, lokalisiert auf eine spezifische, messbare Signalbeziehung.
git clone https://github.com/techosystem/IoMT-SecAlarmBench.git
cd IoMT-SecAlarmBench
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
PyTorch ist auf den CUDA-12.8-Build festgelegt, der für die dokumentierten Läufe verwendet wurde; siehe
docs/REPRODUCE.md für die Index-URL. Die klassische Baseline (Isolation
Forest), der Generator und das Leakage-Audit laufen auf der CPU ohne PyTorch.
Hier wird nichts weiterverbreitet (siehe LICENSE-DATA.md). Rufen Sie die Quellen ab:
bash scripts/get_data.sh # downloads CinC 2015 into data/cinc2015/
WUSTL-EHMS-2020 muss bei seinen Autoren angefordert und unter
data/wustl/wustl-ehms-2020.csv abgelegt werden.
python src/injection_generator.py --config configs/benchmark.yaml --out data/benchmark/
Deterministisch unter dem konfigurierten Seed. Erwartet werden 78.729 Fenster; der Generator gibt das Klassenhistogramm aus, sodass Sie es mit der obigen Tabelle abgleichen können.
python scripts/run_all.py --config configs/benchmark.yaml --seeds 0 1 2 3 4 --deterministic
Dies schreibt ein zeitgestempeltes Verzeichnis unter results/, das eine
manifest.json enthält, die Konfiguration, Paketversionen, GPU und die
MD5 jedes Quellmoduls aufzeichnet — einschließlich der Schweregrad-Konstanten aus Tabelle I.
Gemeldete Läufe sind 20260730-205501 (Tabelle III) und 20260730-222727
(Tabelle IV). Einstiegspunkte pro Komponente:
| Abschnitt des Papers | Befehl |
|---|---|
| RQ1-Erkennung (Tabelle III) | python src/rq1_report.py |
| RQ2-Tarnung (Tabelle IV) | python src/eval_harness.py --matched-far 0.10 |
| RQ3-Unterscheidung (Tabelle V) | python src/rq3_discrimination.py |
| RQ4-Effizienz | python src/eval_harness.py --profile |
| Leckage-Audit | python src/wustl_leakage.py |
| Attribution (zurückgestellt; siehe §VIII) | python src/rq2_attribution_v3.py |
| Abbildungen | make figures |
Lesen Sie docs/REPRODUCE.md, bevor Sie Zahlen vergleichen. Zwei Regeln sind nicht
optional: Vergleichen Sie Detektoren schwellenwertfrei oder bei einem angeglichenen Fehlalarm-Budget,
niemals am jeweiligen Max-F₁-Punkt jeder Methode (dieser verschiebt sich um bis zu ±0.234 über Seeds,
während sich schwellenwertfreies AUPRC um ≤0.013 verschiebt), und berichten Sie AUPRC gegen seinen
Zufallsboden, der sich je nach Teilmenge unterscheidet.
src/ generator, adapters, detectors, evaluation (flat imports; run from repo root)
scripts/ get_data.sh, run_all.py
configs/ benchmark.yaml, detectors.yaml
figures/ figure generation scripts
docs/ REPRODUCE.md
tests/ smoke tests
results/ run outputs (gitignored except manifest.json)
DATASHEET.md full datasheet, following Gebru et al.
Offen dokumentiert und im Paper diskutiert:
Siehe CITATION.cff und zitieren Sie zusätzlich die Quellkorpora.
Empfohlen für das Benchmarking von Erkennung, Diskriminierung, Attribution und Leakage-Auditing. Nicht für klinische Deployment-Entscheidungen und nicht für das Training von Alarmsystemen ohne prospektive Validierung.