Стандартизированный бенчмарк для оценки систем оповещения о безопасности в Интернете медицинских вещей (IoMT) — атаки, обнаружение, устойчивость к ложным срабатываниям и задержка.
Контрфактический бенчмарк для атак на целостность в Интернете медицинских вещей.
Сопутствующий код для "IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT".
Когда срабатывает сигнализация в отделении интенсивной терапии, детектор аномалий может сообщить, что показание необычно. Он не может сказать почему — подлинное ухудшение, отказ датчика или поддельное измерение, находящееся в пределах физиологического диапазона. Для ответа на этот вопрос нужна контрфактическая эталонная истина: что сделала бы сигнализация, если бы сеть оставалась исправной. Ни одна естественно собранная запись её не содержит, поскольку вы никогда не наблюдаете оба исхода одного и того же события.
Этот бенчмарк предоставляет её путём построения. Контролируемые атаки на целостность внедряются в подлинные связанные записи ЭКГ+ФПГ, и для каждого атакованного окна сохраняется чистый сигнал, который был бы наблюдён.
| Окна | 78 729 размеченных 10-секундных окон, шаг 5 с, 2-канальная ЭКГ+ФПГ на частоте 125 Гц |
| Классы | 39 882 атака · 32 875 физиологическая норма · 5 350 отказ/артефакт · 622 физиологическое событие |
| Основа | 627 записей CinC 2015, несущих основную пару ЭКГ+ФПГ (231 истинная / 396 ложных тревог) |
| Пространство внедрения | {replay} ∪ (4 морфологии × 4 уровня серьёзности × 2 режима правдоподобия) |
| Разбиения | по пациентам 436 / 91 / 100, стратифицированные по типу аритмии |
| Контрфактическое | точный чистый сигнал до внедрения, сохраняемый для каждого атакованного окна |
Ключевые результаты. Ни один детектор среди пяти семейств методов не превышает последовательно предел производительности: replay-атаки и низкоамплитудные переходные выбросы находятся на уровне 1,2–1,7× случайного угадывания для всех шести базовых линий. Сильнейший детектор на сложных случаях помечает окна отказа/артефакта с показателем 5,3× собственной частоты ложных срабатываний на нормальных данных — неоднозначность «атака против отказа», локализованная в конкретном, измеримом отношении сигналов.
git clone https://github.com/techosystem/IoMT-SecAlarmBench.git
cd IoMT-SecAlarmBench
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
PyTorch закреплён на сборке CUDA 12.8, использованной для описанных запусков; см.
docs/REPRODUCE.md для index URL. Классический бейзлайн (Isolation
Forest), генератор и аудит утечек работают на CPU без PyTorch.
Здесь ничего не распространяется (см. LICENSE-DATA.md). Загрузите источники:
bash scripts/get_data.sh # downloads CinC 2015 into data/cinc2015/
WUSTL-EHMS-2020 необходимо запросить у его авторов и разместить по пути
data/wustl/wustl-ehms-2020.csv.
python src/injection_generator.py --config configs/benchmark.yaml --out data/benchmark/
Детерминированный при заданном seed. Ожидается 78 729 окон; генератор выводит гистограмму классов, чтобы вы могли сверить её с таблицей выше.
python scripts/run_all.py --config configs/benchmark.yaml --seeds 0 1 2 3 4 --deterministic
Это создаёт каталог с временной меткой в results/, содержащий
manifest.json, в котором записаны конфигурация, версии пакетов, GPU и
MD5 каждого исходного модуля — включая константы серьёзности из Таблицы I.
Отчётные запуски — 20260730-205501 (Таблица III) и 20260730-222727
(Таблица IV). Точки входа по компонентам:
| Раздел статьи | Команда |
|---|---|
| Обнаружение RQ1 (Таблица III) | python src/rq1_report.py |
| Скрытность RQ2 (Таблица IV) | python src/eval_harness.py --matched-far 0.10 |
| Различение RQ3 (Таблица V) | python src/rq3_discrimination.py |
| Эффективность RQ4 | python src/eval_harness.py --profile |
| Аудит утечек | python src/wustl_leakage.py |
| Атрибуция (отложена; см. §VIII) | python src/rq2_attribution_v3.py |
| Рисунки | make figures |
Прочитайте docs/REPRODUCE.md перед сравнением чисел. Два правила
не являются необязательными: сравнивайте детекторы без порога или при
согласованном бюджете ложных тревог, никогда — в точке собственного
максимума F₁ каждого метода (она смещается до ±0.234 между сидами,
тогда как AUPRC без порога смещается на ≤0.013), и сообщайте AUPRC
относительно его случайного уровня, который различается для каждого
подмножества.
src/ generator, adapters, detectors, evaluation (flat imports; run from repo root)
scripts/ get_data.sh, run_all.py
configs/ benchmark.yaml, detectors.yaml
figures/ figure generation scripts
docs/ REPRODUCE.md
tests/ smoke tests
results/ run outputs (gitignored except manifest.json)
DATASHEET.md full datasheet, following Gebru et al.
Зафиксированы открыто и обсуждаются в статье:
См. CITATION.cff, а также цитируйте исходные корпуса.
Рекомендуется для бенчмаркинга обнаружения, различения, атрибуции и аудита утечек. Не для решений о клиническом развёртывании и не для обучения систем тревог без проспективной валидации.