malware-modeler-rs

मैलवेयर मॉडलर

सौम्य बनाम दुर्भावनापूर्ण पूर्वानुमान के लिए लॉजिस्टिक रिग्रेशन मॉडल को प्रशिक्षित करने हेतु एक मशीन लर्निंग एप्लिकेशन और लाइब्रेरी, साथ ही संबंधित उपकरण।

यह कोड बीटा गुणवत्ता का है और इसमें संभवतः बग होंगे।

चार बुनियादी चरण हैं:

1. फ़ीचर निष्कर्षण: शीर्ष k n-ग्राम खोजें, k लगभग 100k से 1m तक, n 8 होना चाहिए।
2. डेटासेट फ़ाइल निर्माण: अपने मैलवेयर और गुडवेयर संग्रह से, एक डेटासेट फ़ाइल बनाएं जो फ़ीचरीकृत नमूनों को डेटासेट फ़ाइल के रूप में रखती है।
3. मॉडल प्रशिक्षण: प्रशिक्षण डेटा के आधार पर एक मॉडल को प्रशिक्षित करता है, वैकल्पिक रूप से स्तरीकृत n-फ़ोल्ड क्रॉस-वैलिडेशन (train --folds N) के साथ जो केवल सर्वश्रेष्ठ फ़ोल्ड के मॉडल को रखता है।
4. मूल्यांकन: कुछ परीक्षण या सत्यापन (होल्ड-आउट डेटा) के विरुद्ध मॉडल का मूल्यांकन करें।

इसके अतिरिक्त:

• समानता फ़ीचर का उपयोग यह सुनिश्चित करने के लिए किया जा सकता है कि प्रशिक्षण के लिए उपयोग किए गए नमूनों में उचित विविधता हो।
• N-ग्राम फ़ीचर, डेटासेट फ़ाइलें और मॉडल एक फ़ाइल प्रकार से बंधे होते हैं।
• मॉडल k फ़ीचर को कुछ कम मात्रा में घटा सकता है, जिससे मॉडल को आगे फ़ीचर चयन करने की अनुमति मिलती है ताकि उम्मीद है कि एक बेहतर मॉडल बन सके।
• मॉडल केवल एक फ़ाइल प्रकार के लिए बनाए जाने चाहिए। अतः EXE के लिए एक मॉडल, PDF के लिए एक, ELF के लिए एक, आदि।
• प्रशिक्षण डेटा बहुत सारे नमूनों वाले संतुलित संग्रह पर आधारित होना चाहिए। सौम्य और दुर्भावनापूर्ण नमूनों की समान मात्रा, कम से कम सैकड़ों हज़ार होनी चाहिए।
• ये सरल मॉडल हैं, जो केवल उतने ही अच्छे हैं जितना प्रशिक्षण डेटा। खराब, गलत लेबल वाला, या अत्यधिक समान डेटा एक बेकार मॉडल उत्पन्न करता है।

निम्नलिखित शोध पर आधारित:

• Edward Raff, William Fleming, Richard Zak, Hyrum Anderson, Bill Finlayson, Charles K Nicholas, Mark McLean, William Fleming, Charles K Nicholas, Richard Zak और Mark Mclean। KiloGrams: Very Large N-Grams for Malware Classification। Proceedings of KDD 2019 Workshop on Learning and Mining for Cybersecurity (LEMINCS'19) में। 2019। लेख।
• William Fleshman, Edward Raff, Richard Zak, Mark McLean और Charles Nicholas। Static Malware Detection & Subterfuge: Quantifying the Robustness of Machine Learning and Current Anti-Virus। 2018 13th International Conference on Malicious and Unwanted Software (MALWARE) में। अक्टूबर 2018, 1–10। सर्वश्रेष्ठ पेपर पुरस्कार। लेख, Arvix, DOI।
• Edward Raff और Charles Nicholas। Hash-Grams: Faster N-Gram Features for Classification and Malware Detection। Proceedings of the ACM Symposium on Document Engineering 2018 में। 2018। लेख, DOI।
• Richard Zak, Edward Raff और Charles Nicholas। What can N-grams learn for malware detection? 2017 12th International Conference on Malicious and Unwanted Software (MALWARE) में। अक्टूबर 2017, 109–118। लेख, DOI।
• Edward Raff, Richard Zak, Russell Cox, Jared Sylvester, Paul Yacci, Rebecca Ward, Anna Tracy, Mark McLean और Charles Nicholas। An investigation of byte n-gram features for malware classification। Journal of Computer Virology and Hacking Techniques, सितंबर 2016। लेख, DOI।

अतिरिक्त उपकरण:

• फ़ाइल प्रकार के आधार पर Zip संग्रह से फ़ाइलें निकालें, जो VirusShare की फ़ाइलों के साथ काम करने के लिए उपयोगी है।
• फ़ाइल प्रकार के अनुसार Zip संग्रह में फ़ाइलों का सारांश प्राप्त करें।
• अच्छी विविधता वाला डेटासेट बनाने में मदद के लिए किसी निर्देशिका की फ़ाइलों में एक-दूसरे के साथ बाइट-स्तरीय समानता की जाँच करें।
• मैलवेयर और गुडवेयर निर्देशिकाओं को संतुलित गुडवेयर ट्रेन, मैलवेयर ट्रेन, गुडवेयर टेस्ट, मैलवेयर टेस्ट में विभाजित करें।

अतिरिक्त टिप्पणियाँ:

• Assemblage से बिनाइन डेटा प्राप्त करने पर विचार करें [Paper, Paper, Code, Docs]
• AI उपकरणों का उपयोग मानवीय पर्यवेक्षण और परीक्षण के अंतर्गत किया गया है।