
인터넷 의료 사물(IoMT) 환경의 보안 경보 시스템을 평가하기 위한 표준화된 벤치마크 - 공격, 탐지, 오경보 복원력, 지연 시간.
의료 사물 인터넷(Internet of Medical Things)의 무결성 공격을 위한 반사실적 벤치마크.
"IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT" 의 동반 코드.
ICU 알람이 울릴 때, 이상 탐지기는 해당 측정값이 비정상적이라는 것만 알려줄 수 있다. 그것은 왜 그런지는 알려주지 못한다 — 실제 악화인지, 센서 결함인지, 아니면 생리학적 범위 안에 들어오는 스푸핑된 측정값인지. 이를 답하려면 반사실적 정답 데이터가 필요하다: 네트워크가 건강하게 유지되었다면 알람이 어떻게 동작했을지에 대한 것이다. 자연적으로 수집된 어떤 기록도 이를 담고 있지 않은데, 동일한 사건의 두 결과를 모두 관찰하는 일은 결코 없기 때문이다.
이 벤치마크는 이를 구성적으로 제공한다. 통제된 무결성 공격이 실제로 결합된 ECG+PPG 기록에 주입되며, 공격받은 모든 윈도우에 대해 관찰되었을 깨끗한 신호가 보존된다.
| 윈도우 | 78,729개의 레이블링된 10초 윈도우, 5초 스트라이드, 125 Hz의 2채널 ECG+PPG |
| 클래스 | 39,882 공격 · 32,875 생리학적 정상 · 5,350 결함/아티팩트 · 622 생리학적 이벤트 |
| 척추 | ECG+PPG 핵심 쌍을 담은 627개의 CinC 2015 기록 (231 진양성 / 396 오탐) |
| 주입 공간 | {replay} ∪ (4가지 형태 × 4가지 심각도 수준 × 2가지 그럴듯함 체제) |
| 분할 | 환자 단위 436 / 91 / 100, 부정맥 유형별로 층화 |
| 반사실 | 공격받은 각 윈도우마다 정확한 주입 전 깨끗한 신호 보존 |
주요 결과. 다섯 가지 방법 계열 중 어떤 탐지기도 일관되게 성능 한계를 넘지 못한다: 재생 공격과 저진폭 일시적 스파이크는 여섯 가지 기준선 모두에서 우연 대비 1.2–1.7배 수준에 머문다. 어려운 사례에서 가장 강력한 탐지기는 결함/아티팩트 윈도우를 정상 데이터에 대한 자체 오탐률의 5.3배로 표시한다 — 공격 대 결함의 모호성이며, 이는 특정하고 측정 가능한 신호 관계로 국소화된다.
git clone https://github.com/techosystem/IoMT-SecAlarmBench.git
cd IoMT-SecAlarmBench
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
PyTorch는 보고된 실행에 사용된 CUDA 12.8 빌드로 고정되어 있습니다. 인덱스 URL은
docs/REPRODUCE.md를 참조하세요. 고전적 베이스라인(Isolation
Forest), 생성기, 누출 감사는 PyTorch 없이 CPU에서 실행됩니다.
여기서는 아무것도 재배포되지 않습니다(LICENSE-DATA.md 참조). 소스를 가져오세요:
bash scripts/get_data.sh # downloads CinC 2015 into data/cinc2015/
WUSTL-EHMS-2020은 저자에게 요청하여
data/wustl/wustl-ehms-2020.csv에 배치해야 합니다.
python src/injection_generator.py --config configs/benchmark.yaml --out data/benchmark/
설정된 시드에 따라 결정적입니다. 78,729개의 윈도우가 예상되며, 생성기는 클래스 히스토그램을 출력하므로 위 표와 대조하여 확인할 수 있습니다.
python scripts/run_all.py --config configs/benchmark.yaml --seeds 0 1 2 3 4 --deterministic
이 명령은 results/ 아래에 타임스탬프가 붙은 디렉터리를 생성하며, 여기에는 구성, 패키지 버전, GPU, 그리고 모든 소스 모듈의 MD5(Table I의 심각도 상수 포함)를 기록하는 manifest.json이 포함됩니다. 보고된 실행은 20260730-205501(Table III)과 20260730-222727(Table IV)입니다. 구성 요소별 진입점:
| 논문 섹션 | 명령 |
|---|---|
| RQ1 탐지 (Table III) | python src/rq1_report.py |
| RQ2 은밀성 (Table IV) | python src/eval_harness.py --matched-far 0.10 |
| RQ3 판별 (Table V) | python src/rq3_discrimination.py |
| RQ4 효율성 | python src/eval_harness.py --profile |
| 누출 감사 | python src/wustl_leakage.py |
| 귀속 (보류; §VIII 참조) | python src/rq2_attribution_v3.py |
| 그림 | make figures |
숫자를 비교하기 전에 docs/REPRODUCE.md를 읽으십시오. 두 가지 규칙은 선택 사항이 아닙니다. 탐지기를 임계값 없이 또는 일치된 오경보 예산에서 비교하고, 각 방법 자체의 최대 F₁ 지점에서는 절대 비교하지 마십시오(이는 시드에 따라 최대 ±0.234까지 변동하는 반면, 임계값 없는 AUPRC는 ≤0.013만큼 변동합니다). 그리고 AUPRC를 하위 집합마다 다른 우연 기준선(chance floor) 대비하여 보고하십시오.
src/ generator, adapters, detectors, evaluation (flat imports; run from repo root)
scripts/ get_data.sh, run_all.py
configs/ benchmark.yaml, detectors.yaml
figures/ figure generation scripts
docs/ REPRODUCE.md
tests/ smoke tests
results/ run outputs (gitignored except manifest.json)
DATASHEET.md full datasheet, following Gebru et al.
공개적으로 기록되었으며, 논문에서 논의된 사항:
CITATION.cff를 참조하고, 원본 코퍼스도 함께 인용하라.
탐지, 판별, 귀인 및 누출 감사를 벤치마킹하는 데 권장된다. 임상 배포 결정에는 적합하지 않으며, 전향적 검증 없이 알람 시스템을 훈련하는 데에도 적합하지 않다.