Un benchmark standardisé pour évaluer les systèmes d'alarme de sécurité dans l'Internet des objets médicaux (IoMT) - attaques, détection, résilience aux fausses alarmes et latence.
Un benchmark contrefactuel pour les attaques d'intégrité dans l'Internet des objets médicaux.
Code d'accompagnement pour « IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT ».
Lorsqu'une alarme d'USI se déclenche, un détecteur d'anomalies peut vous dire que la mesure est inhabituelle. Il ne peut pas vous dire pourquoi — une détérioration réelle, un défaut de capteur, ou une mesure usurpée qui se situe dans la plage physiologique. Pour y répondre, il faut une vérité de référence contrefactuelle : ce que l'alarme aurait fait si le réseau était resté sain. Aucun enregistrement collecté naturellement ne la contient, car vous n'observez jamais les deux issues d'un même événement.
Ce benchmark la fournit par construction. Des attaques d'intégrité contrôlées sont injectées dans de véritables enregistrements couplés ECG+PPG, et pour chaque fenêtre attaquée, le signal propre qui aurait été observé est conservé.
| Fenêtres | 78 729 fenêtres étiquetées de 10 s, pas de 5 s, ECG+PPG à 2 canaux à 125 Hz |
| Classes | 39 882 attaque · 32 875 physiologie normale · 5 350 défaut/artefact · 622 événement physiologique |
| Colonne vertébrale | 627 enregistrements CinC 2015 portant la paire centrale ECG+PPG (231 vraies / 396 fausses alarmes) |
| Espace d'injection | {rejeu} ∪ (4 morphologies × 4 niveaux de gravité × 2 régimes de plausibilité) |
| Découpages | par patient 436 / 91 / 100, stratifiés par type d'arythmie |
| Contrefactuel | signal propre exact pré-injection conservé pour chaque fenêtre attaquée |
Résultats principaux. Aucun détecteur parmi cinq familles de méthodes ne dépasse systématiquement la limite de performance : les attaques par rejeu et les pics transitoires de faible amplitude se situent à 1,2–1,7× le hasard pour les six références. Le détecteur le plus performant sur les cas difficiles signale les fenêtres de défaut/artefact à 5,3× son propre taux de fausses alarmes sur des données normales — l'ambiguïté attaque-contre-défaut, localisée à une relation de signal spécifique et mesurable.
git clone https://github.com/techosystem/IoMT-SecAlarmBench.git
cd IoMT-SecAlarmBench
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
PyTorch est épinglé à la version CUDA 12.8 utilisée pour les exécutions rapportées ; voir
docs/REPRODUCE.md pour l'URL de l'index. La baseline classique (Isolation
Forest), le générateur et l'audit de fuite s'exécutent sur CPU sans PyTorch.
Rien n'est redistribué ici (voir LICENSE-DATA.md). Récupérez les sources :
bash scripts/get_data.sh # downloads CinC 2015 into data/cinc2015/
WUSTL-EHMS-2020 doit être demandé à ses auteurs et placé à l'emplacement
data/wustl/wustl-ehms-2020.csv.
python src/injection_generator.py --config configs/benchmark.yaml --out data/benchmark/
Déterministe selon la graine configurée. Attendez-vous à 78 729 fenêtres ; le générateur affiche l'histogramme des classes afin que vous puissiez le comparer au tableau ci-dessus.
python scripts/run_all.py --config configs/benchmark.yaml --seeds 0 1 2 3 4 --deterministic
Cela écrit un répertoire horodaté sous results/ contenant un
manifest.json qui enregistre la configuration, les versions des paquets, le GPU et le
MD5 de chaque module source — y compris les constantes de sévérité du Tableau I.
Les exécutions rapportées sont 20260730-205501 (Tableau III) et 20260730-222727
(Tableau IV). Points d'entrée par composant :
| Section de l'article | Commande |
|---|---|
| Détection RQ1 (Tableau III) | python src/rq1_report.py |
| Furtivité RQ2 (Tableau IV) | python src/eval_harness.py --matched-far 0.10 |
| Discrimination RQ3 (Tableau V) | python src/rq3_discrimination.py |
| Efficacité RQ4 | python src/eval_harness.py --profile |
| Audit de fuite | python src/wustl_leakage.py |
| Attribution (différée ; voir §VIII) | python src/rq2_attribution_v3.py |
| Figures | make figures |
Lisez docs/REPRODUCE.md avant de comparer les chiffres. Deux règles ne sont pas
facultatives : comparer les détecteurs sans seuil ou à un budget de fausses alarmes apparié,
jamais au point max-F₁ propre à chaque méthode (il varie jusqu'à ±0,234 selon les graines
tandis que l'AUPRC sans seuil varie de ≤0,013), et rapporter l'AUPRC par rapport à son
plancher du hasard, qui diffère selon le sous-ensemble.
src/ generator, adapters, detectors, evaluation (flat imports; run from repo root)
scripts/ get_data.sh, run_all.py
configs/ benchmark.yaml, detectors.yaml
figures/ figure generation scripts
docs/ REPRODUCE.md
tests/ smoke tests
results/ run outputs (gitignored except manifest.json)
DATASHEET.md full datasheet, following Gebru et al.
Consignés ouvertement et discutés dans l'article :
Voir CITATION.cff, et citez également les corpus sources.
Recommandé pour l'évaluation comparative de la détection, de la discrimination, de l'attribution et de l'audit des fuites. Non destiné aux décisions de déploiement clinique, ni à l'entraînement de systèmes d'alarme sans validation prospective.