rverton/webanalyzePorte do Wappalyzer (descobre tecnologias usadas em sites) para automatizar varredura em massa.
Este é um port do Wappalyzer em Go. Esta ferramenta foi projetada para ser performática e permite testar listas enormes de hosts.
[!NOTE] Como o Wappalyzer removeu o acesso público às suas definições de aplicativos, o webanalyze atualmente carrega definições do enthec.
Os releases pré-compilados podem ser baixados diretamente aqui.
Se você quiser compilar por conta própria:
$ go install -v github.com/rverton/webanalyze/cmd/webanalyze@latest
$ webanalyze -update # carrega um novo arquivo technologies.json do projeto wappalyzer
$ webanalyze -h
Usage of webanalyze:
-apps string
arquivo de definição de aplicativos. (default "technologies.json")
-crawl int
links a seguir a partir da página raiz (default 0)
-header value
cabeçalho HTTP personalizado, repetível (ex.: 'User-Agent: webanalyze')
-host string
host único a testar
-hosts string
nome do arquivo com hosts, um host por linha.
-output string
formato de saída (stdout|csv|json) (default "stdout")
-search
busca todas as URLs com o mesmo domínio base (ex.: example.com e sub.example.com) (default true)
-silent
evita imprimir o cabeçalho (default false)
-update
atualiza o arquivo de aplicativos
-worker int
número de workers (default 4)
A flag -update baixa uma versão atual do technologies.json do enthec.
Cabeçalhos de requisição personalizados podem ser fornecidos mais de uma vez:
$ webanalyze -host example.com -header "User-Agent: Mozilla/5.0" -header "Authorization: Bearer token"
# Clone o repositório
git clone https://github.com/rverton/webanalyze.git
# Compile o container
docker build -t webanalyze:latest webanalyze
# Execute o container
docker run -it webanalyze:latest -h
Consulte cmd/webanalyze/main.go para um exemplo de como usar isso como uma biblioteca.
$ ./webanalyze -host robinverton.de -crawl 1
:: webanalyze : v1.0
:: workers : 4
:: apps : technologies.json
:: crawl count : 1
:: search subdomains : true
https://robinverton.de/hire/ (0.5s):
Highlight.js, (Miscellaneous)
Netlify, (Web Servers, CDN)
Google Font API, (Font Scripts)
http://robinverton.de (0.8s):
Highlight.js, (Miscellaneous)
Netlify, (Web Servers, CDN)
Hugo, 0.42.1 (Static Site Generator)
Google Font API, (Font Scripts)
$ ./webanalyze -host robinverton.de -crawl 1 -output csv
:: webanalyze : v1.0
:: workers : 4
:: apps : technologies.json
:: crawl count : 1
:: search subdomains : true
Host,Category,App,Version
https://robinverton.de/hire/,Miscellaneous,Highlight.js,
https://robinverton.de/hire/,Font Scripts,Google Font API,
https://robinverton.de/hire/,"Web Servers,CDN",Netlify,
http://robinverton.de,"Web Servers,CDN",Netlify,
http://robinverton.de,Static Site Generator,Hugo,0.42.1
http://robinverton.de,Miscellaneous,Highlight.js,
http://robinverton.de,Font Scripts,Google Font API,