Crawlector

Crawlector (il nome Crawlector è una combinazione di Crawler & Detector) è un framework di threat-hunting progettato per scansionare siti web alla ricerca di oggetti malevoli.

Nota-1: Il framework è stato presentato per la prima volta alla conferenza No Hat a Bergamo, Italia, il 22 ottobre 2022 (Slides, Registrazione YouTube). Inoltre, è stato presentato per la seconda volta alla conferenza AVAR, a Singapore, il 2 dicembre 2022.

Nota-2: Lo strumento complementare EKFiddle2Yara (è uno strumento che prende le regole EKFiddle e le converte in regole Yara) menzionato nel talk è stato anch'esso rilasciato in entrambe le conferenze.

Nota-3: La versione 2.0 (Photoid Build:180923), una release milestone, è stata rilasciata il 18 settembre 2023.

Nota-4: La versione 2.1 (Universe-647 Build:031023) è stata rilasciata il 3 ottobre 2023. Una grande aggiunta è la funzionalità di notifica Slack Alert.

Nota-5: La versione 2.2 (Hallstatt Build:051123) è stata rilasciata il 5 novembre 2023. Una grande aggiunta è la funzionalità di controllo remoto Slack.

Nota-6: La versione 2.3 (Munich Build:241123) è stata rilasciata il 24 novembre 2023. Una grande aggiunta è la funzionalità DNS Nameservers.

Nota-6: La versione 2.3.1 {Nero Build:131225} è stata rilasciata il 13 dicembre 2025. Questa è una release di manutenzione.

Caratteristiche

• Supporta lo spidering dei siti web per trovare link aggiuntivi da scansionare (solo fino a 2 livelli)
• Integra Yara come motore backend per la scansione delle regole
• Supporta la scansione online e offline
• Supporta il crawling per i certificati digitali di domini/siti
• Supporta la query su URLhaus per trovare URL malevoli nella pagina
• Deep Object Extraction (DOE)
• Notifica Slack Alert
• Supporto parametrizzato per il reindirizzamento HTTP
• Recupero delle informazioni Whois
• Supporta l'hashing del contenuto della pagina con TLSH (Trend Micro Locality Sensitive Hash) e altre funzioni di hash crittografico standard come md5, sha1, sha256 e ripemd128, tra gli altri
  • TLSH non restituirà un valore se la dimensione della pagina è inferiore a 50 byte o se non è presente abbastanza casualità nei dati
• Supporta la query sul rating e sulla categoria di ogni URL
• Supporta l'espansione di un determinato sito tentando di trovare tutti i TLD e/o sottodomini disponibili per lo stesso dominio
  • Questa funzione utilizza l'API Omnisint Labs (questo sito non è disponibile dal 10 marzo 2023) e le API RapidAPI
  • L'implementazione dell'espansione TLD è nativa
  • Questa funzione, insieme al rating e alla categorizzazione, fornisce la capacità di trovare domini di scam/phishing/malevoli per il dominio originale
• Supporta la risoluzione del dominio (IPv4 e IPv6)
• Salva le pagine dei siti web scansionate per una scansione successiva (possono essere salvate come zip compresso)
• Tutte le impostazioni del framework sono controllate tramite un unico file di configurazione personalizzabile
• Tutte le sessioni di scansione vengono salvate in un file CSV ben strutturato con una miriade di informazioni sul sito web scansionato, oltre a informazioni sulle regole Yara che hanno attivato
• Molte altre funzionalità...
• Tutte le comunicazioni HTTP(S) sono proxy-aware
• Un singolo eseguibile
• Scritto in C++

Scansione URLHaus e Integrazione API

Serve per verificare la presenza di URL malevoli in ogni pagina scansionata. Il framework può interrogare l'elenco di URL malevoli dal server URLHaus (configurazione: url_list_web) o da un file su disco (configurazione: url_list_file); se quest'ultimo è specificato, ha la precedenza sul primo.

Funziona cercando il contenuto di ogni pagina in tutte le voci URL presenti in url_list_web o url_list_file, verificando tutte le occorrenze. Inoltre, in caso di corrispondenza e se l'opzione di configurazione check_url_api è impostata su true, Crawlector invierà una richiesta POST all'URL dell'API impostato nell'opzione di configurazione url_api, che restituisce un oggetto JSON con informazioni extra sull'URL corrispondente. Tali informazioni includono urlh_status (es., online, offline, unknown), urlh_threat (es., malware_download), urlh_tags (es., elf, Mozi) e urlh_reference (es., https://urlhaus.abuse.ch/url/1116455/). Queste informazioni saranno incluse nel file di log cl_mlog_<data_corrente><ora_corrente><(am|pm)>.csv (vedi sotto), solo se check_url_api è impostato su true. Altrimenti, il file di log includerà le colonne urlh_url (elenco di URL malevoli corrispondenti) e urlh_hit (numero di occorrenze per ogni URL malevolo corrispondente), a condizione che check_url sia impostato su true.

La funzionalità URLHaus può essere completamente disabilitata impostando l'opzione di configurazione check_url su false.

È importante notare che questa funzione potrebbe rallentare la scansione, considerando l'enorme numero di URL malevoli (~ 130 milioni di voci al momento della stesura) che devono essere controllati e il tempo necessario per ottenere informazioni extra dal server URLHaus (se l'opzione check_url_api è impostata su true).

Strutture di File e Cartelle