
Gospider - Veloce spider web scritto in Go
GoSpider - Spider web veloce scritto in Go
questo progetto faceva parte di Osmedeus Engine. Scopri come è stato integrato su @OsmedeusEngine
GO111MODULE=on go install github.com/jaeles-project/gospider@latest
# Clona il repository
git clone https://github.com/jaeles-project/gospider.git
# Costruisci il contenitore
docker build -t gospider:latest gospider
# Esegui il contenitore
docker run -t gospider -h
Fast web spider written in Go - v1.1.5 by @thebl4ckturtle & @j3ssiejjj
Usage:
gospider [flags]
Flags:
-s, --site string Sito da scansionare
-S, --sites string Elenco di siti da scansionare
-p, --proxy string Proxy (Es: http://127.0.0.1:8080)
-o, --output string Cartella di output
-u, --user-agent string User Agent da utilizzare
web: user-agent web casuale
mobi: user-agent mobile casuale
oppure puoi impostare il tuo user-agent personalizzato (default "web")
--cookie string Cookie da utilizzare (testA=a; testB=b)
-H, --header stringArray Header da utilizzare (usa più flag per impostare più header)
--burp string Carica header e cookie dalla richiesta HTTP raw di Burp
--blacklist string Regex URL da escludere
--whitelist string Regex URL da includere
--whitelist-domain string Dominio da includere
-t, --threads int Numero di thread (eseguire siti in parallelo) (default 1)
-c, --concurrent int Numero massimo di richieste concorrenti consentite per i domini corrispondenti (default 5)
-d, --depth int MaxDepth limita la profondità di ricorsione degli URL visitati. (Imposta a 0 per ricorsione infinita) (default 1)
-k, --delay int Ritardo: attesa prima di creare una nuova richiesta ai domini corrispondenti (secondi)
-K, --random-delay int Ritardo casuale aggiuntivo da aggiungere al ritardo prima di creare una nuova richiesta (secondi)
-m, --timeout int Timeout della richiesta (secondi) (default 10)
-B, --base Disabilita tutto e utilizza solo il contenuto HTML
--js Abilita linkfinder nei file JavaScript (default true)
--subs Includi sottodomini
--sitemap Prova a scansionare sitemap.xml
--robots Prova a scansionare robots.txt (default true)
-a, --other-source Trova URL da fonti terze (Archive.org, CommonCrawl.org, VirusTotal.com, AlienVault.com)
-w, --include-subs Includi sottodomini trovati da fonti terze. Predefinito è il dominio principale
-r, --include-other-source Includi anche gli URL delle altre fonti (viene comunque eseguito crawling e richieste)
--debug Attiva modalità debug
--json Abilita output JSON
-v, --verbose Attiva verbose
-l, --length Attiva lunghezza
-L, --filter-length Attiva filtro lunghezza
-R, --raw Attiva raw
-q, --quiet Sopprime tutto l'output e mostra solo l'URL
--no-redirect Disabilita reindirizzamento
--version Controlla versione
-h, --help help per gospider
gospider -q -s "https://google.com/"
gospider -s "https://google.com/" -o output -c 10 -d 1
gospider -S sites.txt -o output -c 10 -d 1
gospider -S sites.txt -o output -c 10 -d 1 -t 20
gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source
gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source --include-subs
gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source -H "Accept: */*" -H "Test: test" --cookie "testA=a; testB=b"
gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source --burp burp_req.txt
P/s: gospider esclude di default .(jpg|jpeg|gif|css|tif|tiff|png|ttf|woff|woff2|ico)
gospider -s "https://google.com/" -o output -c 10 -d 1 --blacklist ".(woff|pdf)"
gospider -s "https://google.com/" -o output -c 10 -d 1 --length --filter-length "6871,24432"
Gospider è realizzato con ♥ da @j3ssiejjj
& @thebl4ckturtle ed è rilasciato sotto licenza MIT.