Hakrawler

Rastreador web rápido em Go para coletar URLs e localizações de arquivos JavaScript. Esta é basicamente uma implementação simples da incrível biblioteca Gocolly.

Exemplos de uso

URL única:

echo https://google.com | hakrawler

Várias URLs:

cat urls.txt | hakrawler

Timeout para cada linha da entrada padrão após 5 segundos:

cat urls.txt | hakrawler -timeout 5

Enviar todas as requisições através de um proxy:

cat urls.txt | hakrawler -proxy http://localhost:8080

Incluir subdomínios:

echo https://google.com | hakrawler -subs

Nota: um problema comum é que a ferramenta não retorna URLs. Isso geralmente acontece quando um domínio é especificado (https://example.com), mas ele redireciona para um subdomínio (https://www.example.com). O subdomínio não está incluído no escopo, então nenhuma URL é exibida. Para contornar isso, especifique a URL final na cadeia de redirecionamento ou use a opção -subs para incluir subdomínios.

Exemplo de cadeia de ferramentas

Obter todos os subdomínios do google, encontrar os que respondem a http(s), rastreá-los todos.

echo google.com | haktrails subdomains | httpx | hakrawler

Instalação

Instalação Normal

Primeiro, você precisará instalar o Go.

Em seguida, execute este comando para baixar e compilar o hakrawler:

go install github.com/hakluke/hakrawler@latest

Agora você pode executar ~/go/bin/hakrawler. Se preferir executar apenas hakrawler sem o caminho completo, você precisará definir export PATH="~/go/bin/:$PATH". Você também pode adicionar esta linha ao seu arquivo ~/.bashrc se desejar que persista.

Instalação via Docker (do dockerhub)

echo https://www.google.com | docker run --rm -i hakluke/hakrawler:v2 -subs

Instalação Docker Local

É muito mais fácil usar o método do dockerhub acima, mas se preferir executá-lo localmente:

git clone https://github.com/hakluke/hakrawler
cd hakrawler
sudo docker build -t hakluke/hakrawler .
sudo docker run --rm -i hakluke/hakrawler --help

Kali Linux: Usando apt

Nota: Isso instalará uma versão mais antiga do hakrawler sem todos os recursos, e pode apresentar bugs. Recomendo usar um dos outros métodos.

sudo apt install hakrawler

Em seguida, para executar o hakrawler:

echo https://www.google.com | docker run --rm -i hakluke/hakrawler -subs

Opções da linha de comando

Usage of hakrawler:
  -d int
    	Profundidade do rastreamento. (padrão 2)
  -dr
    	Desabilitar seguir redirecionamentos HTTP.
  -h string
    	Cabeçalhos personalizados separados por dois ponto-e-vírgula. Ex.: -h "Cookie: foo=bar;;Referer: http://example.com/"
  -i	Rastrear apenas dentro do caminho
  -insecure
    	Desabilitar verificação TLS.
  -json
    	Saída em JSON.
  -proxy string
    	URL do proxy. Ex.: -proxy http://127.0.0.1:8080
  -s	Exibir a origem da URL com base em onde foi encontrada. Ex.: href, form, script, etc.
  -size int
    	Limite de tamanho da página, em KB. (padrão -1)
  -subs
    	Incluir subdomínios para rastreamento.
  -t int
    	Número de threads a utilizar. (padrão 8)
  -timeout int
    	Tempo máximo para rastrear cada URL da entrada padrão, em segundos. (padrão -1)
  -u	Exibir apenas URLs únicas.
  -w	Exibir em qual link a URL foi encontrada.