malware-modeler-rs

modeleur de malwares

Une application et une bibliothèque d'apprentissage automatique pour l'entraînement de modèles de régression logistique destinés à la prédiction bénin contre malveillant, ainsi que des outils associés.

Ce code est de qualité bêta et contiendra probablement des bugs.

Il y a quatre étapes de base :

1. Extraction de caractéristiques : trouver les k meilleurs n-grammes, k est d'environ 100 000 à 1 million, n doit être 8.
2. Création du fichier de jeu de données : à partir de votre collection de malwares et de logiciels sains, créer un fichier de jeu de données qui contient les échantillons vectorisés sous forme de fichier de jeu de données.
3. Entraînement du modèle : entraîne un modèle basé sur les données d'entraînement, avec en option une validation croisée stratifiée à n plis (train --folds N) qui ne conserve que le modèle du meilleur pli.
4. Évaluation : évaluer le modèle par rapport à des données de test ou de validation (données réservées).

De plus :

• La caractéristique de similarité peut être utilisée pour s'assurer que les échantillons utilisés pour l'entraînement présentent une variation convenable.
• Les caractéristiques de n-grammes, les fichiers de jeu de données et les modèles sont liés à un type de fichier.
• Le modèle peut réduire les k caractéristiques à un nombre moindre, permettant au modèle d'effectuer une sélection de caractéristiques supplémentaire afin, espérons-le, de produire un meilleur modèle.
• Les modèles ne doivent être créés que pour un seul type de fichier. Ainsi, un modèle pour les EXE, un pour les PDF, un pour les ELF, etc.
• Les données d'entraînement doivent être basées sur une collection équilibrée comportant de nombreux échantillons. Le même nombre d'échantillons bénins et malveillants, au moins des centaines de milliers.
• Ce sont des modèles simples, qui ne valent que ce que valent les données d'entraînement. Des données de mauvaise qualité, mal étiquetées ou trop similaires produisent un modèle sans valeur.

Basé sur les recherches suivantes :

• Edward Raff, William Fleming, Richard Zak, Hyrum Anderson, Bill Finlayson, Charles K Nicholas, Mark McLean, William Fleming, Charles K Nicholas, Richard Zak et Mark Mclean. KiloGrams: Very Large N-Grams for Malware Classification. Dans Proceedings of KDD 2019 Workshop on Learning and Mining for Cybersecurity (LEMINCS'19). 2019. Article.
• William Fleshman, Edward Raff, Richard Zak, Mark McLean et Charles Nicholas. Static Malware Detection & Subterfuge: Quantifying the Robustness of Machine Learning and Current Anti-Virus. Dans 2018 13th International Conference on Malicious and Unwanted Software (MALWARE). Octobre 2018, 1–10. Prix du meilleur article. Article, Arvix, DOI.
• Edward Raff et Charles Nicholas. Hash-Grams: Faster N-Gram Features for Classification and Malware Detection. Dans Proceedings of the ACM Symposium on Document Engineering 2018. 2018. Article, DOI.
• Richard Zak, Edward Raff et Charles Nicholas. What can N-grams learn for malware detection? Dans 2017 12th International Conference on Malicious and Unwanted Software (MALWARE). Octobre 2017, 109–118. Article, DOI.
• Edward Raff, Richard Zak, Russell Cox, Jared Sylvester, Paul Yacci, Rebecca Ward, Anna Tracy, Mark McLean et Charles Nicholas. An investigation of byte n-gram features for malware classification. Journal of Computer Virology and Hacking Techniques, Septembre 2016. Article, DOI.

Outils supplémentaires :

• Extraire des fichiers d'une archive Zip en fonction du type de fichier, utile pour travailler avec des fichiers provenant de VirusShare.
• Obtenir un résumé des fichiers d'une archive Zip par type de fichier.
• Vérifier la similarité au niveau octet des fichiers d'un répertoire entre eux afin de vous aider à construire un jeu de données avec une bonne variation.
• Répartir les répertoires de malware et de goodware en ensembles équilibrés goodware train, malware train, goodware test, malware test.

Notes supplémentaires :

• Envisagez d'obtenir des données bénignes depuis Assemblage [Paper, Paper, Code, Docs]
• Des outils d'IA ont été utilisés sous supervision et tests humains.