ph0neutria

ph0neutria crawler de malwares
v1.0.1
https://github.com/phage-nz/ph0neutria

Note : Ce projet n'est plus activement maintenu.

À propos

ph0neutria est un constructeur de zoo de malwares qui collecte des échantillons directement depuis la nature. Tout est stocké dans Viper pour un accès et une gestion facilités.

Ce projet a été inspiré par Ragpicker (https://github.com/robbyFux/Ragpicker, anciennement connu sous le nom de « Malware Crawler »). Cependant, ph0neutria vise à :

• Limiter le champ d'exploration aux sources fréquemment mises à jour et fiables.
• Maximiser l'efficacité des indicateurs individuels.
• Offrir un mécanisme de stockage unique, fiable et bien organisé.
• Ne pas effectuer un travail qui peut être fait par Viper.

Que signifie ce nom ? « Phoneutria nigriventer » est communément appelée l'araignée errante du Brésil : https://en.wikipedia.org/wiki/Brazilian_wandering_spider

Sources

À partir de la version 1.0.0, toutes les sources sont créées sous forme de « plugins », situés dans le sous-répertoire plugin du dossier des scripts principaux. Les sources par défaut sont :

• Bibliothèque de malwares de 0xffff0800 (crédit : http://0day.coffee).
• CleanMX (nécessite un user-agent approuvé).
• Cymon, qui inclut : Abuse.ch trackers, Bambenek C2 feed, Cyber Crime Tracker, Malc0de, URLVir et VX Vault.
• Hybrid Analysis (nécessite une clé API vérifiée).
• OTX.
• Shodan, via la fonction Malware Hunter.
• URLhaus.

Chaque plugin possède des paramètres qui doivent être complétés avant l'opération. Vous les trouverez en haut de chaque fichier de plugin.

VirusTotal est un composant central de ph0neutria qui ne peut pas être désactivé. Les listes d'IP y sont introduites pour découvrir les URL connues pour ces IP. Si vous possédez une clé API standard de 5 requêtes/minute, je vous encourage à être prudent avec ce que vous lui fournissez. Vous pouvez le faire en :

• Réduisant le nombre de flux Cymon.
• Réduisant votre nombre d'abonnements OTX.
• Réglant le paramètre SCORE_MIN de Hybrid Analysis à 100.

Captures d'écran

Notes de version

• 0.6.0 : Le proxy Tor nécessite pysocks (pip install pysocks) et au moins la version 2.10.0 de python requests pour la prise en charge du proxy SOCKS.
• 0.9.0 : Fonctionnalité OSINT extraite de Phage Malware Tracker (projet privé) - nécessite une clé API VirusTotal. Récupération plus robuste des fichiers sauvages. Mise en cache locale des URL et des hachages (réduit la charge de l'API).
• 0.9.1 : Mise à jour pour utiliser l'API V3 de Viper. N'est plus compatible avec V2.
• 1.0.0 : Mise à jour majeure. Tiré du pipeline de malwares de Safari Guide. Architecture de plugins. Python 3.0.
• 1.0.1 : Mise à jour des sources (ajout de la bibliothèque de 0xffff0800). Les échantillons peuvent désormais être étiquetés avec une classification provenant de VirusTotal.

Installation

Le script suivant installera ph0neutria avec Viper et Tor :

wget https://raw.githubusercontent.com/phage-nz/ph0neutria/master/install.sh
chmod +x install.sh
sudo ./install.sh

Aussi simple que cela !

Optionnel :

Configurer des signatures ClamAV supplémentaires :

cd /tmp
git clone https://github.com/extremeshok/clamav-unofficial-sigs
cd clamav-unofficial-sigs
cp clamav-unofficial-sigs.sh /usr/local/bin
chmod 755 /usr/local/bin/clamav-unofficial-sigs.sh
mkdir /etc/clamav-unofficial-sigs
cp config/* /etc/clamav-unofficial-sigs
cd /etc/clamav-unofficial-sigs

Renommez os..conf en os.conf, par exemple :

mv os.ubuntu.conf os.conf

Modifiez les fichiers de configuration :

• master.conf : recherchez « Enabled Databases » et activez/désactivez les sources souhaitées.
• user.conf : décommentez les lignes nécessaires pour les sources que vous avez activées et complétez-les. user.conf remplace master.conf. Vous devez décommenter user_configuration_complete="yes" une fois la configuration terminée pour que les commandes suivantes réussissent.

Pour plus d'informations sur la configuration, voir : https://github.com/extremeshok/clamav-unofficial-sigs

mkdir /var/log/clamav-unofficial-sigs
clamav-unofficial-sigs.sh --install-cron
clamav-unofficial-sigs.sh --install-logrotate
clamav-unofficial-sigs.sh --install-man
clamav-unofficial-sigs.sh
cd /tmp/clamav-unofficial-sigs
cp systemd/\* /etc/systemd
cd ..
rm -rf clamav-unofficial-sigs*

Cela prendra un certain temps pour télécharger les nouvelles signatures - pendant ce temps, ClamAV peut ne pas être disponible.

Utilisation

Prenez des précautions lors de l'assemblage de votre zoo de malwares :

• Ne désactivez pas Tor sauf si vous le remplacez par un VPN anonyme.
• Opérez sur un réseau isolé et sur du matériel dédié.
• Exécutez les échantillons uniquement dans un environnement sandbox approprié (référez-vous à : https://github.com/phage-nz/malware-hunting/tree/master/sandbox).
• Surveillez les abus de vos clés API.

Assurez-vous que Tor est démarré :

service tor restart

Démarrez l'API Viper et l'interface web :

cd /opt/viper
sudo -H -u spider python3 viper-web

Notez le mot de passe administrateur créé lors du démarrage de Viper. Utilisez-le pour vous connecter à http://<IP Viper\>:<port Viper>/admin (par défaut : http://127.0.0.1:8080/admin) et récupérez le jeton API depuis la page Tokens.

L'interface web principale de Viper sera disponible à http://<IP Viper>:<port Viper> (par défaut : http://127.0.0.1:8080).

• Complétez le fichier de configuration à : /opt/ph0neutria/core/config/settings.conf
• Complétez les paramètres en haut de chaque plugin. Si vous souhaitez désactiver le plugin, définissez DISABLED = True : /opt/ph0neutria/core/plugins/*.py

Démarrez ph0neutria :

cd /opt/ph0neutria
sudo -H -u spider python3 run.py

Vous pouvez appuyer sur Ctrl+C à tout moment pour interrompre l'exécution. Vous pouvez le relancer dès que vous le souhaitez - vous ne pouvez pas obtenir de doublons dans la base de données.

Pour l'exécuter quotidiennement, créez un script dans /etc/cron.daily avec le contenu suivant :

#!/bin/bash
cd /opt/ph0neutria && sudo -H -u spider python3 run.py

Étiquettes et notes

Étiquettes : {1},{2},{3}

• Horodatage.
• Domaine de l'échantillon.
• ASN de l'hôte.
• Pays de l'hôte.

Notes : {1)({2}) via {3}

• URL de l'échantillon.
• Adresse IP de l'hôte.
• Source de l'URL.

Le nom d'origine du fichier constitue le nom d'identification dans Viper.

Références

• http://docs.cymon.io/ - Documentation de l'API Cymon.
• https://www.hybrid-analysis.com/docs/api/v2 - Documentation de l'API Hybrid Analysis.
• http://malshare.com/doc.php - Documentation de l'API MalShare.
• https://otx.alienvault.com/api - Documentation de l'API AlienVault OTX.
• https://urlhaus.abuse.ch/api/ - Documentation de l'API URLhaus.
• https://developer.shodan.io/api - Documentation de l'API Shodan.
• http://viper-framework.readthedocs.io/en/latest/usage/web.html - Documentation de l'API Viper.
• https://developers.virustotal.com/v2.0/reference - Documentation de l'API VirusTotal.