Hakrawler

Rastreador web rápido en golang para recolectar URLs y ubicaciones de archivos JavaScript. Básicamente es una implementación simple de la increíble librería Gocolly.

Ejemplos de uso

URL única:

echo https://google.com | hakrawler

Múltiples URLs:

cat urls.txt | hakrawler

Tiempo de espera para cada línea de stdin después de 5 segundos:

cat urls.txt | hakrawler -timeout 5

Enviar todas las solicitudes a través de un proxy:

cat urls.txt | hakrawler -proxy http://localhost:8080

Incluir subdominios:

echo https://google.com | hakrawler -subs

Nota: un problema común es que la herramienta no devuelve URLs. Esto suele ocurrir cuando se especifica un dominio (https://example.com), pero redirige a un subdominio (https://www.example.com). El subdominio no está incluido en el ámbito, por lo que no se imprimen URLs. Para solucionarlo, especifique la URL final en la cadena de redirección o use la opción -subs para incluir subdominios.

Ejemplo de cadena de herramientas

Obtener todos los subdominios de google, encontrar los que responden a http(s), y rastrearlos todos.

echo google.com | haktrails subdomains | httpx | hakrawler

Instalación

Instalación normal

Primero, necesitarás instalar Go.

Luego ejecuta este comando para descargar y compilar hakrawler:

go install github.com/hakluke/hakrawler@latest

Ahora puedes ejecutar ~/go/bin/hakrawler. Si prefieres ejecutar simplemente hakrawler sin la ruta completa, necesitarás export PATH="~/go/bin/:$PATH". También puedes agregar esta línea a tu archivo ~/.bashrc si deseas que persista.

Instalación con Docker (desde Docker Hub)

echo https://www.google.com | docker run --rm -i hakluke/hakrawler:v2 -subs

Instalación local con Docker

Es mucho más fácil usar el método de Docker Hub anterior, pero si prefieres ejecutarlo localmente:

git clone https://github.com/hakluke/hakrawler
cd hakrawler
sudo docker build -t hakluke/hakrawler .
sudo docker run --rm -i hakluke/hakrawler --help

Kali Linux: Usando apt

Nota: Esto instalará una versión antigua de hakrawler sin todas las funcionalidades, y puede tener errores. Recomiendo usar uno de los otros métodos.

sudo apt install hakrawler

Luego, para ejecutar hakrawler:

echo https://www.google.com | docker run --rm -i hakluke/hakrawler -subs

Opciones de línea de comandos

Usage of hakrawler:
  -d int
    	Depth to crawl. (default 2)
  -dr
    	Disable following HTTP redirects.
  -h string
    	Custom headers separated by two semi-colons. E.g. -h "Cookie: foo=bar;;Referer: http://example.com/"
  -i	Only crawl inside path
  -insecure
    	Disable TLS verification.
  -json
    	Output as JSON.
  -proxy string
    	Proxy URL. E.g. -proxy http://127.0.0.1:8080
  -s	Show the source of URL based on where it was found. E.g. href, form, script, etc.
  -size int
    	Page size limit, in KB. (default -1)
  -subs
    	Include subdomains for crawling.
  -t int
    	Number of threads to utilise. (default 8)
  -timeout int
    	Maximum time to crawl each URL from stdin, in seconds. (default -1)
  -u	Show only unique urls.
  -w	Show at which link the URL is found.