Hakrawler

Veloce web crawler in golang per raccogliere URL e posizioni di file JavaScript. Si tratta fondamentalmente di una semplice implementazione della fantastica libreria Gocolly.

Esempi di utilizzo

URL singolo:

echo https://google.com | hakrawler

URL multipli:

cat urls.txt | hakrawler

Timeout per ogni riga di stdin dopo 5 secondi:

cat urls.txt | hakrawler -timeout 5

Invia tutte le richieste attraverso un proxy:

cat urls.txt | hakrawler -proxy http://localhost:8080

Includi sottodomini:

echo https://google.com | hakrawler -subs

Nota: un problema comune è che lo strumento non restituisce URL. Solitamente ciò accade quando viene specificato un dominio (https://example.com), ma reindirizza a un sottodominio (https://www.example.com). Il sottodominio non è incluso nell'ambito, quindi non viene stampato alcun URL. Per superare questo problema, specificare l'URL finale nella catena di reindirizzamento o utilizzare l'opzione -subs per includere i sottodomini.

Esempio di catena di strumenti

Ottieni tutti i sottodomini di google, trova quelli che rispondono a http(s), esegui la scansione di tutti.

echo google.com | haktrails subdomains | httpx | hakrawler

Installazione

Installazione normale

Innanzitutto, dovrai installare go.

Quindi esegui questo comando per scaricare e compilare hakrawler:

go install github.com/hakluke/hakrawler@latest

Ora puoi eseguire ~/go/bin/hakrawler. Se desideri eseguire semplicemente hakrawler senza il percorso completo, dovrai export PATH="~/go/bin/:$PATH". Puoi anche aggiungere questa riga al tuo file ~/.bashrc se desideri che persista.

Installazione Docker (da dockerhub)

echo https://www.google.com | docker run --rm -i hakluke/hakrawler:v2 -subs

Installazione Docker locale

È molto più semplice utilizzare il metodo dockerhub sopra, ma se preferisci eseguirlo localmente:

git clone https://github.com/hakluke/hakrawler
cd hakrawler
sudo docker build -t hakluke/hakrawler .
sudo docker run --rm -i hakluke/hakrawler --help

Kali Linux: Utilizzo di apt

Nota: questo installerà una versione precedente di hakrawler senza tutte le funzionalità e potrebbe essere instabile. Consiglio di utilizzare uno degli altri metodi.

sudo apt install hakrawler

Quindi, per eseguire hakrawler:

echo https://www.google.com | docker run --rm -i hakluke/hakrawler -subs

Opzioni della riga di comando

Usage of hakrawler:
  -d int
    	Depth to crawl. (default 2)
  -dr
    	Disable following HTTP redirects.
  -h string
    	Custom headers separated by two semi-colons. E.g. -h "Cookie: foo=bar;;Referer: http://example.com/"
  -i	Only crawl inside path
  -insecure
    	Disable TLS verification.
  -json
    	Output as JSON.
  -proxy string
    	Proxy URL. E.g. -proxy http://127.0.0.1:8080
  -s	Show the source of URL based on where it was found. E.g. href, form, script, etc.
  -size int
    	Page size limit, in KB. (default -1)
  -subs
    	Include subdomains for crawling.
  -t int
    	Number of threads to utilise. (default 8)
  -timeout int
    	Maximum time to crawl each URL from stdin, in seconds. (default -1)
  -u	Show only unique urls.
  -w	Show at which link the URL is found.