Crawlector

Crawlector (le nom Crawlector est une combinaison de Crawler & Detector) est un framework de threat-hunting conçu pour analyser des sites web à la recherche d'objets malveillants.

Note-1 : Le framework a été présenté pour la première fois à la conférence No Hat à Bergame, Italie, le 22 octobre 2022 (Diapositives, Enregistrement YouTube). Il a également été présenté une deuxième fois à la conférence AVAR, à Singapour, le 2 décembre 2022.

Note-2 : L'outil compagnon EKFiddle2Yara (est un outil qui prend les règles EKFiddle et les convertit en règles Yara) mentionné dans l'exposé a également été publié lors des deux conférences.

Note-3 : La version 2.0 (Photoid Build:180923), une version majeure, a été publiée le 18 septembre 2023.

Note-4 : La version 2.1 (Universe-647 Build:031023) a été publiée le 03 octobre 2023. Une nouveauté majeure est la fonction de notification Slack Alert.

Note-5 : La version 2.2 (Hallstatt Build:051123) a été publiée le 05 novembre 2023. Une nouveauté majeure est la fonction de contrôle à distance Slack.

Note-6 : La version 2.3 (Munich Build:241123) a été publiée le 24 novembre 2023. Une nouveauté majeure est la fonction de serveurs DNS.

Note-6 : La version 2.3.1 {Nero Build:131225} a été publiée le 13 décembre 2025. Il s'agit d'une version de maintenance.

Fonctionnalités

• Support du spidering de sites web pour trouver des liens supplémentaires à analyser (jusqu'à 2 niveaux seulement)
• Intègre Yara comme moteur backend pour l'analyse de règles
• Prend en charge l'analyse en ligne et hors ligne
• Prend en charge le crawling des certificats numériques des domaines/sites
• Prend en charge l'interrogation d'URLhaus pour trouver des URL malveillantes sur la page
• Extraction Profonde d'Objets (DOE)
• Notification Slack Alert
• Prise en charge paramétrée des redirections HTTP
• Récupération des informations Whois
• Prend en charge le hachage du contenu de la page avec TLSH (Trend Micro Locality Sensitive Hash), et d'autres fonctions de hachage cryptographique standard telles que md5, sha1, sha256, et ripemd128, entre autres
  • TLSH ne renvoie pas de valeur si la taille de la page est inférieure à 50 octets, ou si les données ne présentent pas assez d'aléatoire
• Prend en charge l'interrogation de la note et de la catégorie de chaque URL
• Prend en charge l'expansion d'un site donné en tentant de trouver tous les TLD et/ou sous-domaines disponibles pour le même domaine
  • Cette fonction utilise les API Omnisint Labs (ce site est hors ligne depuis le 10 mars 2023) et RapidAPI
  • L'implémentation de l'expansion des TLD est native
  • Cette fonctionnalité, avec la notation et la catégorisation, permet de trouver des domaines d'arnaque/hameçonnage/malveillants pour le domaine d'origine
• Prend en charge la résolution de domaine (IPv4 et IPv6)
• Sauvegarde les pages de sites web analysées pour une analyse ultérieure (peut être sauvegardé sous forme compressée zip)
• L'ensemble des paramètres du framework est contrôlé via un seul fichier de configuration personnalisable
• Toutes les sessions d'analyse sont sauvegardées dans un fichier CSV bien structuré avec une multitude d'informations sur le site web analysé, en plus d'informations sur les règles Yara qui ont été déclenchées
• De nombreuses autres fonctionnalités...
• Toutes les communications HTTP(S) sont conscientes des proxys
• Un seul exécutable
• Écrit en C++

Analyse et Intégration API URLHaus

Ceci sert à vérifier la présence d'URL malveillantes sur chaque page analysée. Le framework peut soit interroger la liste des URL malveillantes depuis le serveur URLHaus (configuration : url_list_web), soit depuis un fichier sur le disque (configuration : url_list_file). Si ce dernier est spécifié, il prime sur le premier.

Cela fonctionne en recherchant le contenu de chaque page dans toutes les entrées d'URL de url_list_web ou url_list_file, en vérifiant toutes les occurrences. De plus, en cas de correspondance, et si l'option de configuration check_url_api est définie sur true, Crawlector enverra une requête POST à l'URL d'API définie dans l'option de configuration url_api, qui renvoie un objet JSON contenant des informations supplémentaires sur une URL correspondante. Ces informations incluent urlh_status (ex. online, offline, unknown), urlh_threat (ex. malware_download), urlh_tags (ex. elf, Mozi), et urlh_reference (ex. https://urlhaus.abuse.ch/url/1116455/). Ces informations seront incluses dans le fichier journal cl_mlog_<current_date><current_time><(pm|am)>.csv (voir ci-dessous), seulement si check_url_api est défini sur true. Sinon, le fichier journal inclura les colonnes urlh_url (liste des URL malveillantes correspondantes) et urlh_hit (nombre d'occurrences pour chaque URL malveillante correspondante), sous condition que check_url soit défini sur true.

La fonctionnalité URLHaus peut être totalement désactivée en définissant l'option de configuration check_url sur false.

Il est important de noter que cette fonctionnalité peut ralentir l'analyse, étant donné le nombre énorme d'URL malveillantes (~ 130 millions d'entrées au moment de la rédaction) qui doivent être vérifiées, et le temps nécessaire pour obtenir des informations supplémentaires depuis le serveur URLHaus (si l'option check_url_api est définie sur true).

Structure des fichiers et dossiers