Crawlector

Crawlector (o nome Crawlector é uma combinação de Crawler & Detector) é um framework de caça a ameaças projetado para escanear sites em busca de objetos maliciosos.

Nota-1: O framework foi apresentado pela primeira vez na conferência No Hat em Bergamo, Itália, em 22 de outubro de 2022 (Slides, Gravação no YouTube). Além disso, foi apresentado pela segunda vez na conferência AVAR, em Singapura, em 2 de dezembro de 2022.

Nota-2: A ferramenta acompanhante EKFiddle2Yara (é uma ferramenta que pega regras do EKFiddle e as converte em regras Yara) mencionada na palestra também foi lançada em ambas as conferências.

Nota-3: A versão 2.0 (Photoid Build:180923), um lançamento marco, foi lançada em 18 de setembro de 2023.

Nota-4: A versão 2.1 (Universe-647 Build:031023) foi lançada em 03 de outubro de 2023. Uma grande adição é o recurso de Notificação de Alerta do Slack.

Nota-5: A versão 2.2 (Hallstatt Build:051123) foi lançada em 05 de novembro de 2023. Uma grande adição é o recurso de Controle Remoto do Slack.

Nota-6: A versão 2.3 (Munich Build:241123) foi lançada em 24 de novembro de 2023. Uma grande adição é o recurso de Servidores DNS.

Nota-6: A versão 2.3.1 {Nero Build:131225} foi lançada em 13 de dezembro de 2025. Este é um lançamento de manutenção.

Recursos

• Suporte a spiderização de sites para encontrar links adicionais para escanear (apenas até 2 níveis)
• Integra Yara como mecanismo backend para varredura de regras
• Suporte a varredura online e offline
• Suporte a crawling para certificados digitais de domínios/sites
• Suporte a consultas ao URLhaus para encontrar URLs maliciosas na página
• Extração Profunda de Objetos (DOE)
• Notificação de Alerta do Slack
• Suporte parametrizado para redirecionamento HTTP
• Recuperação de informações Whois
• Suporte a hashing do conteúdo da página com TLSH (Trend Micro Locality Sensitive Hash) e outras funções hash criptográficas padrão, como md5, sha1, sha256 e ripemd128, entre outras
  • TLSH não retornará um valor se o tamanho da página for menor que 50 bytes, ou se não houver aleatoriedade suficiente nos dados
• Suporte a consulta da classificação e categoria de cada URL
• Suporte a expansão de um determinado site ao tentar encontrar todos os TLDs e/ou subdomínios disponíveis para o mesmo domínio
  • Este recurso usa as APIs do Omnisint Labs (este site está fora do ar desde 10 de março de 2023) e da RapidAPI
  • A implementação de expansão de TLD é nativa
  • Este recurso, juntamente com a classificação e categorização, fornece a capacidade de encontrar domínios de scam/phishing/maliciosos para o domínio original
• Suporte a resolução de domínio (IPv4 e IPv6)
• Salva páginas de sites escaneadas para varredura posterior (pode ser salvo como zip compactado)
• A totalidade das configurações do framework é controlada através de um único arquivo de configuração personalizável
• Todas as sessões de varredura são salvas em um arquivo CSV bem estruturado com uma infinidade de informações sobre o site sendo escaneado, além de informações sobre as regras Yara que foram acionadas
• Muitos outros recursos...
• Todas as comunicações HTTP(S) são cientes de proxy
• Um único executável
• Escrito em C++

Varredura URLHaus e Integração com API

Isso é para verificar URLs maliciosas em cada página sendo escaneada. O framework pode consultar a lista de URLs maliciosas do servidor do URLHaus (configuração: url_list_web), ou de um arquivo em disco (configuração: url_list_file), e se este último for especificado, ele terá precedência sobre o primeiro.

Funciona pesquisando o conteúdo de cada página em todas as entradas de URL em url_list_web ou url_list_file, verificando todas as ocorrências. Além disso, em caso de correspondência, e se a opção de configuração check_url_api estiver definida como true, o Crawlector enviará uma solicitação POST para a URL da API definida na opção de configuração url_api, que retorna um objeto JSON com informações extras sobre uma URL correspondente. Essas informações incluem urlh_status (ex., online, offline, unknown), urlh_threat (ex., malware_download), urlh_tags (ex., elf, Mozi) e urlh_reference (ex., https://urlhaus.abuse.ch/url/1116455/). Essas informações serão incluídas no arquivo de log cl_mlog_<current_date><current_time><(pm|am)>.csv (veja abaixo), apenas se check_url_api estiver definido como true. Caso contrário, o arquivo de log incluirá as colunas urlh_url (lista de URLs maliciosas correspondentes) e urlh_hit (número de ocorrências para cada URL maliciosa correspondente), condicionado a check_url estar definido como true.

O recurso URLHaus pode ser desabilitado por completo definindo a opção de configuração check_url como false.

É importante notar que este recurso pode desacelerar a varredura, considerando o enorme número de URLs maliciosas (~ 130 milhões de entradas no momento desta escrita) que precisam ser verificadas, e o tempo necessário para obter informações extras do servidor URLHaus (se a opção check_url_api estiver definida como true).

Estruturas de Arquivos e Pastas