面向医疗物联网完整性攻击的反事实基准。
配套代码,对应论文 "IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT"。
当 ICU 报警触发时,异常检测器可以告诉你该读数异常。但它无法告诉你为什么——是真实的病情恶化、传感器故障,还是落在生理范围内的伪造测量值。要回答这个问题,需要反事实的真实基准:如果网络保持健康,报警本会如何表现。任何自然采集的记录都不包含这一信息,因为你永远无法同时观测到同一事件的两种结果。
本基准通过构造方式提供这一信息。受控的完整性攻击被注入到真实的耦合 ECG+PPG 记录中,并且对于每一个受攻击窗口,都会保留本应观测到的干净信号。
| 窗口 | 78,729 个带标签的 10 秒窗口,步长 5 秒,2 通道 ECG+PPG,采样率 125 Hz |
| 类别 | 39,882 攻击 · 32,875 生理正常 · 5,350 故障/伪影 · 622 生理事件 |
| 主干 | 627 条 CinC 2015 记录,携带 ECG+PPG 核心配对(231 真报警 / 396 假报警) |
| 注入空间 | {重放} ∪(4 种形态 × 4 个严重程度 × 2 种合理性机制) |
| 划分 | 按患者划分 436 / 91 / 100,按心律失常类型分层 |
| 反事实 | 每个受攻击窗口均保留注入前的精确干净信号 |
主要结果。 在五个方法族中,没有任何检测器能够持续超越性能极限:对于全部六个基线,重放攻击和低幅度瞬态尖峰均处于随机水平的 1.2–1.7 倍。在困难样本上表现最强的检测器,其标记故障/伪影窗口的比率达到其在正常数据上自身误报率的 5.3 倍——攻击与故障之间的歧义,被定位到一个具体且可测量的信号关系上。
git clone https://github.com/techosystem/IoMT-SecAlarmBench.git
cd IoMT-SecAlarmBench
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
PyTorch 固定为报告运行所用的 CUDA 12.8 构建版本;索引 URL 参见
docs/REPRODUCE.md。经典基线(Isolation
Forest)、生成器和泄漏审计在 CPU 上运行,无需 PyTorch。
此处不重新分发任何内容(参见 LICENSE-DATA.md)。获取数据源:
bash scripts/get_data.sh # downloads CinC 2015 into data/cinc2015/
WUSTL-EHMS-2020 必须向其作者申请,并放置于
data/wustl/wustl-ehms-2020.csv。
python src/injection_generator.py --config configs/benchmark.yaml --out data/benchmark/
在配置的种子下具有确定性。预期有 78,729 个窗口;生成器会打印类别直方图,以便你对照上表进行检查。
python scripts/run_all.py --config configs/benchmark.yaml --seeds 0 1 2 3 4 --deterministic
这会在 results/ 下写入一个带时间戳的目录,其中包含一个 manifest.json,记录配置、软件包版本、GPU 以及每个源模块的 MD5——包括表 I 的严重性常量。已报告的运行是 20260730-205501(表 III)和 20260730-222727(表 IV)。各组件入口点:
| 论文部分 | 命令 |
|---|---|
| RQ1 检测(表 III) | python src/rq1_report.py |
| RQ2 隐蔽性(表 IV) | python src/eval_harness.py --matched-far 0.10 |
| RQ3 区分度(表 V) | python src/rq3_discrimination.py |
| RQ4 效率 | python src/eval_harness.py --profile |
| 泄漏审计 | python src/wustl_leakage.py |
| 归因(暂缓;见 §VIII) | python src/rq2_attribution_v3.py |
| 图表 | make figures |
在比较数字之前,请先阅读 docs/REPRODUCE.md。 有两条规则不是可选的:在无阈值或匹配误报预算的条件下比较检测器,绝不要在每个方法各自的最大 F₁ 点上比较(该点在不同随机种子间最多可移动 ±0.234,而无阈值 AUPRC 的移动 ≤0.013),并且要报告 AUPRC 相对于其随机基线的情况,该基线因不同子集而异。
src/ generator, adapters, detectors, evaluation (flat imports; run from repo root)
scripts/ get_data.sh, run_all.py
configs/ benchmark.yaml, detectors.yaml
figures/ figure generation scripts
docs/ REPRODUCE.md
tests/ smoke tests
results/ run outputs (gitignored except manifest.json)
DATASHEET.md full datasheet, following Gebru et al.
公开记录,并在论文中讨论:
参见 CITATION.cff,并同时引用源语料库。
推荐用于检测、区分、归因和 泄漏审计的基准测试。不用于临床部署决策,也不用于 在没有前瞻性验证的情况下训练告警系统。