इंटरनेट ऑफ मेडिकल थिंग्स (IoMT) में सुरक्षा अलार्म प्रणालियों के मूल्यांकन के लिए एक मानकीकृत बेंचमार्क - हमले, पहचान, झूठे-अलार्म लचीलापन और विलंबता।
इंटरनेट ऑफ मेडिकल थिंग्स में इंटीग्रिटी हमलों के लिए एक काउंटरफैक्चुअल बेंचमार्क।
"IoMT-SecAlarmBench: A Counterfactual Benchmark for Integrity Attacks in IoMT" के लिए सहयोगी कोड।
जब किसी ICU अलार्म की ट्रिगर होती है, तो एक विसंगति डिटेक्टर आपको बता सकता है कि रीडिंग असामान्य है। यह आपको यह नहीं बता सकता कि क्यों — वास्तविक गिरावट, सेंसर खराबी, या एक स्पूफ़्ड माप जो शारीरिक सीमा के भीतर बैठता है। इसका उत्तर देने के लिए काउंटरफैक्चुअल ग्राउंड ट्रुथ की आवश्यकता होती है: यदि नेटवर्क स्वस्थ रहता तो अलार्म क्या करता। कोई भी प्राकृतिक रूप से एकत्रित रिकॉर्डिंग इसे नहीं रखती, क्योंकि आप एक ही घटना के दोनों परिणामों को कभी नहीं देखते।
यह बेंचमार्क इसे निर्माण द्वारा प्रदान करता है। नियंत्रित इंटीग्रिटी हमलों को वास्तविक युग्मित ECG+PPG रिकॉर्डिंग में इंजेक्ट किया जाता है, और प्रत्येक हमला किए गए विंडो के लिए वह स्वच्छ सिग्नल जो देखा गया होता, उसे बनाए रखा जाता है।
| विंडो | 78,729 लेबल किए गए 10 s विंडो, 5 s स्ट्राइड, 125 Hz पर 2-चैनल ECG+PPG |
| क्लासेस | 39,882 हमला · 32,875 फिज़ियोलॉजी-सामान्य · 5,350 फॉल्ट/आर्टिफैक्ट · 622 फिज़ियोलॉजी-इवेंट |
| स्पाइन | 627 CinC 2015 रिकॉर्ड जिनमें ECG+PPG कोर जोड़ी है (231 सत्य / 396 झूठे अलार्म) |
| इंजेक्शन स्पेस | {replay} ∪ (4 मॉर्फोलॉजी × 4 गंभीरता स्तर × 2 विश्वसनीयता व्यवस्थाएँ) |
| स्प्लिट्स | रोगी-वार 436 / 91 / 100, अतालता प्रकार द्वारा स्तरीकृत |
| काउंटरफैक्चुअल | प्रत्येक हमला किए गए विंडो के लिए सटीक स्वच्छ पूर्व-इंजेक्शन सिग्नल बनाए रखा गया |
मुख्य परिणाम। पाँच विधि परिवारों में से कोई भी डिटेक्टर प्रदर्शन सीमा को लगातार पार नहीं करता: रीप्ले हमले और कम-आयाम वाले क्षणिक स्पाइक्स सभी छह बेसलाइनों के लिए 1.2–1.7× संयोग स्तर पर बैठते हैं। कठिन मामलों पर सबसे मजबूत डिटेक्टर सामान्य डेटा पर अपनी स्वयं की झूठी-अलार्म दर के 5.3× पर फॉल्ट/आर्टिफैक्ट विंडो को फ्लैग करता है — हमला-बनाम-फॉल्ट अस्पष्टता, एक विशिष्ट, मापने योग्य सिग्नल संबंध तक स्थानीयकृत।
git clone https://github.com/techosystem/IoMT-SecAlarmBench.git
cd IoMT-SecAlarmBench
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
PyTorch को रिपोर्ट किए गए रनों के लिए उपयोग किए गए CUDA 12.8 बिल्ड पर पिन किया गया है; index URL के लिए
docs/REPRODUCE.md देखें। क्लासिकल बेसलाइन (Isolation
Forest), जनरेटर, और leakage audit PyTorch के बिना CPU पर चलते हैं।
यहाँ कुछ भी पुनर्वितरित नहीं किया गया है (LICENSE-DATA.md देखें)। स्रोत प्राप्त करें:
bash scripts/get_data.sh # downloads CinC 2015 into data/cinc2015/
WUSTL-EHMS-2020 को इसके लेखकों से अनुरोध करके प्राप्त करना होगा और इसे
data/wustl/wustl-ehms-2020.csv पर रखना होगा।
python src/injection_generator.py --config configs/benchmark.yaml --out data/benchmark/
निर्धारित seed के अंतर्गत नियतात्मक। 78,729 विंडो अपेक्षित हैं; जनरेटर क्लास हिस्टोग्राम प्रिंट करता है ताकि आप इसे ऊपर दी गई तालिका से मिला सकें।
python scripts/run_all.py --config configs/benchmark.yaml --seeds 0 1 2 3 4 --deterministic
यह results/ के अंतर्गत एक टाइमस्टैम्प वाली डायरेक्टरी लिखता है जिसमें एक
manifest.json होता है जो कॉन्फ़िगरेशन, पैकेज संस्करणों, GPU, और प्रत्येक स्रोत मॉड्यूल के
MD5 को रिकॉर्ड करता है — जिसमें Table I के severity constants भी शामिल हैं।
रिपोर्ट किए गए रन 20260730-205501 (Table III) और 20260730-222727
(Table IV) हैं। प्रति-घटक प्रवेश बिंदु:
| Paper section | Command |
|---|---|
| RQ1 detection (Table III) | python src/rq1_report.py |
| RQ2 stealthiness (Table IV) | python src/eval_harness.py --matched-far 0.10 |
| RQ3 discrimination (Table V) | python src/rq3_discrimination.py |
| RQ4 efficiency | python src/eval_harness.py --profile |
| Leakage audit | python src/wustl_leakage.py |
| Attribution (deferred; see §VIII) | python src/rq2_attribution_v3.py |
| Figures | make figures |
संख्याओं की तुलना करने से पहले docs/REPRODUCE.md पढ़ें। दो नियम वैकल्पिक
नहीं हैं: डिटेक्टरों की तुलना threshold-free रूप में या एक matched false-alarm बजट पर करें,
कभी भी प्रत्येक विधि के अपने max-F₁ बिंदु पर नहीं (यह seeds के बीच ±0.234 तक
बदलता है जबकि threshold-free AUPRC ≤0.013 तक बदलता है), और AUPRC को उसके
chance floor के सापेक्ष रिपोर्ट करें, जो प्रत्येक सबसेट के लिए भिन्न होता है।
src/ generator, adapters, detectors, evaluation (flat imports; run from repo root)
scripts/ get_data.sh, run_all.py
configs/ benchmark.yaml, detectors.yaml
figures/ figure generation scripts
docs/ REPRODUCE.md
tests/ smoke tests
results/ run outputs (gitignored except manifest.json)
DATASHEET.md full datasheet, following Gebru et al.
खुलकर दर्ज की गईं, और पेपर में चर्चा की गईं:
CITATION.cff देखें, और स्रोत कॉर्पस को भी उद्धृत करें।
डिटेक्शन, विभेदन, एट्रिब्यूशन और लीकेज ऑडिटिंग के बेंचमार्किंग के लिए अनुशंसित। नैदानिक परिनियोजन निर्णयों के लिए नहीं, और संभाव्य सत्यापन के बिना अलार्म सिस्टम के प्रशिक्षण के लिए नहीं।