Internet of Medical Things における完全性攻撃のための反実仮想ベンチマーク。
「IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT」 のコンパニオンコード。
ICU アラームが発報したとき、異常検知器はその測定値が異常であることを伝えることはできる。しかし、その理由——本当の悪化なのか、センサーの故障なのか、それとも生理学的範囲内に収まる偽装された測定値なのか——を伝えることはできない。それに答えるには反実仮想のグラウンドトゥルースが必要である。すなわち、ネットワークが健全なままであったならアラームがどう動作していたか、である。同じ事象の両方の結果を同時に観測することはないため、自然に収集された記録にはこれが含まれない。
本ベンチマークはこれを構成的に提供する。制御された完全性攻撃が実際の結合 ECG+PPG 記録に注入され、攻撃を受けたすべてのウィンドウについて、観測されたはずのクリーンな信号が保持される。
| ウィンドウ | 78,729 個のラベル付き 10 秒ウィンドウ、5 秒ストライド、125 Hz の 2 チャネル ECG+PPG |
| クラス | 39,882 攻撃 · 32,875 生理学的正常 · 5,350 故障/アーティファクト · 622 生理学的イベント |
| スパイン | ECG+PPG コアペアを含む 627 件の CinC 2015 記録(231 真アラーム / 396 偽アラーム) |
| 注入空間 | {replay} ∪ (4 形態 × 4 深刻度レベル × 2 妥当性レジーム) |
| 分割 | 患者単位で 436 / 91 / 100、不整脈タイプで層別化 |
| 反実仮想 | 攻撃を受けた各ウィンドウについて、注入前の正確なクリーン信号を保持 |
主要な結果。 5 つの手法ファミリーのうち、性能限界を一貫して超える検知器は存在しない。リプレイ攻撃と低振幅の過渡スパイクは、6 つのベースラインすべてにおいてチャンスレベルの 1.2~1.7 倍にとどまる。困難なケースにおいて最強の検知器は、正常データにおける自身の誤警報率の 5.3 倍で故障/アーティファクトウィンドウを検出する——これは攻撃と故障の曖昧さであり、特定の測定可能な信号関係に局在化している。
git clone https://github.com/techosystem/IoMT-SecAlarmBench.git
cd IoMT-SecAlarmBench
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
PyTorch は、報告された実行で使用された CUDA 12.8 ビルドに固定されています。インデックス URL については docs/REPRODUCE.md を参照してください。古典的ベースライン(Isolation Forest)、ジェネレーター、およびリーク監査は、PyTorch なしで CPU 上で実行されます。
ここでは何も再配布されていません(LICENSE-DATA.md を参照)。ソースを取得してください:
bash scripts/get_data.sh # downloads CinC 2015 into data/cinc2015/
WUSTL-EHMS-2020 は著者に申請して入手し、
data/wustl/wustl-ehms-2020.csv に配置する必要があります。
python src/injection_generator.py --config configs/benchmark.yaml --out data/benchmark/
設定されたシードの下で決定的に動作します。78,729 個のウィンドウが生成される見込みです。ジェネレーターはクラスのヒストグラムを出力するので、上記の表と照合して確認できます。
python scripts/run_all.py --config configs/benchmark.yaml --seeds 0 1 2 3 4 --deterministic
これにより、results/ 配下にタイムスタンプ付きのディレクトリが作成され、その中には manifest.json が含まれます。このファイルには、設定、パッケージのバージョン、GPU、およびすべてのソースモジュールの MD5(Table I の重大度定数を含む)が記録されます。報告されている実行は 20260730-205501(Table III)と 20260730-222727(Table IV)です。コンポーネントごとのエントリポイントは以下のとおりです:
| 論文のセクション | コマンド |
|---|---|
| RQ1 検出(Table III) | python src/rq1_report.py |
| RQ2 ステルス性(Table IV) | python src/eval_harness.py --matched-far 0.10 |
| RQ3 識別(Table V) | python src/rq3_discrimination.py |
| RQ4 効率 | python src/eval_harness.py --profile |
| リーケージ監査 | python src/wustl_leakage.py |
| アトリビューション(保留中;§VIII を参照) | python src/rq2_attribution_v3.py |
| 図 | make figures |
数値を比較する前に docs/REPRODUCE.md を読んでください。 2 つのルールは任意ではありません。検出器はしきい値なしで、または一致させた誤警報予算で比較すること(各手法自身の最大 F₁ 点で比較してはならない。これはシード間で最大 ±0.234 変動する一方、しきい値なしの AUPRC は ≤0.013 しか変動しない)、そして AUPRC はサブセットごとに異なる偶然水準に対して報告することです。
src/ generator, adapters, detectors, evaluation (flat imports; run from repo root)
scripts/ get_data.sh, run_all.py
configs/ benchmark.yaml, detectors.yaml
figures/ figure generation scripts
docs/ REPRODUCE.md
tests/ smoke tests
results/ run outputs (gitignored except manifest.json)
DATASHEET.md full datasheet, following Gebru et al.
公開記録として残し、論文でも議論している:
CITATION.cff を参照し、元のコーパスも併せて引用すること。
検出、識別、帰属、リーク監査のベンチマークに推奨する。臨床展開の判断には使用しないこと、また前向き検証なしにアラームシステムの訓練に使用しないこと。