نموذج البرمجيات الخبيثة
تطبيق ومكتبة للتعلم الآلي لتدريب نماذج الانحدار اللوجستي للتنبؤ بالبرمجيات الحميدة مقابل الخبيثة بالإضافة إلى أدوات ذات صلة.
هذا الكود بجودة تجريبية ومن المرجح أن يحتوي على أخطاء.
هناك أربع خطوات أساسية:
- استخراج الميزات: إيجاد أفضل k من n-grams، حيث k حوالي 100 ألف إلى مليون، وn يجب أن تكون 8.
- إنشاء ملف مجموعة البيانات: من مجموعتك من البرمجيات الخبيثة والحميدة، أنشئ ملف مجموعة بيانات يحتوي على العينات المُحوَّلة إلى ميزات كملف مجموعة بيانات.
- تدريب النموذج: تدريب نموذج بناءً على بيانات التدريب، اختياريًا مع التحقق المتقاطع الطبقي ذي الطيات n (
train --folds N) الذي يحتفظ فقط بنموذج أفضل طية.
- التقييم: تقييم النموذج مقابل بعض بيانات الاختبار أو التحقق (بيانات محتجزة).
بالإضافة إلى ذلك:
- يمكن استخدام ميزة التشابه لضمان أن العينات المستخدمة للتدريب تتمتع بتنوع جيد.
- ميزات N-gram وملفات مجموعات البيانات والنماذج مرتبطة بنوع ملف.
- يمكن للنموذج تقليل ميزات k إلى كمية أقل، مما يسمح للنموذج بإجراء مزيد من اختيار الميزات على أمل صنع نموذج أفضل.
- يجب إنشاء النماذج لنوع ملف واحد فقط. لذا نموذج لملفات EXE، وآخر لملفات PDF، وآخر لملفات ELF، إلخ.
- يجب أن تستند بيانات التدريب إلى مجموعة متوازنة تحتوي على الكثير من العينات. نفس الكمية من العينات الحميدة والخبيثة، ويجب أن تحتوي على مئات الآلاف على الأقل.
- هذه نماذج بسيطة، وهي بجودة بيانات التدريب فقط. البيانات السيئة أو المُصنَّفة بشكل خاطئ أو المتشابهة جدًا تنتج نموذجًا عديم القيمة.
استنادًا إلى الأبحاث التالية:
- Edward Raff, William Fleming, Richard Zak, Hyrum Anderson, Bill Finlayson, Charles K Nicholas, Mark McLean, William Fleming, Charles K Nicholas, Richard Zak and Mark Mclean. KiloGrams: Very Large N-Grams for Malware Classification. في وقائع ورشة عمل KDD 2019 حول التعلم والتعدين للأمن السيبراني (LEMINCS'19). 2019. مقال.
- William Fleshman, Edward Raff, Richard Zak, Mark McLean and Charles Nicholas. Static Malware Detection & Subterfuge: Quantifying the Robustness of Machine Learning and Current Anti-Virus. في المؤتمر الدولي الثالث عشر لعام 2018 حول البرمجيات الخبيثة وغير المرغوب فيها (MALWARE). أكتوبر 2018، 1–10. جائزة أفضل ورقة بحثية. مقال، Arvix، DOI.
- Edward Raff and Charles Nicholas. Hash-Grams: Faster N-Gram Features for Classification and Malware Detection. في وقائع ندوة ACM حول هندسة المستندات 2018. 2018. مقال، DOI.
- Richard Zak, Edward Raff and Charles Nicholas. What can N-grams learn for malware detection? في المؤتمر الدولي الثاني عشر لعام 2017 حول البرمجيات الخبيثة وغير المرغوب فيها (MALWARE). أكتوبر 2017، 109–118. مقال، DOI.
- Edward Raff, Richard Zak, Russell Cox, Jared Sylvester, Paul Yacci, Rebecca Ward, Anna Tracy, Mark McLean and Charles Nicholas. An investigation of byte n-gram features for malware classification. مجلة فيروسات الكمبيوتر وتقنيات الاختراق، سبتمبر 2016. مقال، DOI.
أدوات إضافية:
- استخراج الملفات من أرشيف Zip بناءً على نوع الملف، وهو مفيد للعمل مع الملفات من VirusShare.
- الحصول على ملخص للملفات في أرشيف Zip حسب نوع الملف.
- فحص الملفات في دليل ما للتحقق من التشابه على مستوى البايت بينها للمساعدة في بناء مجموعة بيانات ذات تنوع جيد.
- تقسيم أدلة البرمجيات الخبيثة والبرمجيات الحميدة إلى مجموعات متوازنة: تدريب للبرمجيات الحميدة، وتدريب للبرمجيات الخبيثة، واختبار للبرمجيات الحميدة، واختبار للبرمجيات الخبيثة.
ملاحظات إضافية:
rjzak/malware-modeler-rs
