GO111MODULE=on go install github.com/jaeles-project/gospider@latest

# Clone o repositório
git clone https://github.com/jaeles-project/gospider.git
# Construa o container
docker build -t gospider:latest gospider
# Execute o container
docker run -t gospider -h

Aranha web rápida escrita em Go - v1.1.5 por @thebl4ckturtle & @j3ssiejjj

Uso:
  gospider [flags]

Flags:
  -s, --site string               Site a rastrear
  -S, --sites string              Lista de sites a rastrear
  -p, --proxy string              Proxy (Ex: http://127.0.0.1:8080)
  -o, --output string             Pasta de saída
  -u, --user-agent string         User-Agent a usar
                                  	web: user-agent web aleatório
                                  	mobi: user-agent mobile aleatório
                                  	ou você pode definir seu user-agent especial (padrão "web")
      --cookie string             Cookie a usar (testA=a; testB=b)
  -H, --header stringArray        Cabeçalho a usar (Use múltiplas flags para definir múltiplos cabeçalhos)
      --burp string               Carregar cabeçalhos e cookie da requisição HTTP bruta do Burp
      --blacklist string          Regex de URL para lista negra
      --whitelist string          Regex de URL para lista branca
      --whitelist-domain string   Domínio para lista branca
  -t, --threads int               Número de threads (Executa sites em paralelo) (padrão 1)
  -c, --concurrent int            Número máximo de requisições simultâneas permitidas para os domínios correspondentes (padrão 5)
  -d, --depth int                 Profundidade máxima limita a profundidade de recursão das URLs visitadas. (Defina como 0 para recursão infinita) (padrão 1)
  -k, --delay int                 Atraso é a duração a esperar antes de criar uma nova requisição para os domínios correspondentes (segundo)
  -K, --random-delay int          RandomDelay é a duração aleatória extra a esperar somada ao Delay antes de criar uma nova requisição (segundo)
  -m, --timeout int               Timeout da requisição (segundo) (padrão 10)
  -B, --base                      Desabilitar tudo e usar apenas conteúdo HTML
      --js                        Habilitar localizador de links em arquivos JavaScript (padrão true)
      --subs                      Incluir subdomínios
      --sitemap                   Tentar rastrear sitemap.xml
      --robots                    Tentar rastrear robots.txt (padrão true)
  -a, --other-source              Encontrar URLs de terceiros (Archive.org, CommonCrawl.org, VirusTotal.com, AlienVault.com)
  -w, --include-subs              Incluir subdomínios rastreados de terceiros. Padrão é domínio principal
  -r, --include-other-source      Incluir também URLs de outras fontes (ainda rastreia e requisita)
      --debug                     Ativar modo de depuração
      --json                      Habilitar saída JSON
  -v, --verbose                   Ativar modo verbose
  -l, --length                    Ativar comprimento
  -L, --filter-length             Ativar filtro de comprimento
  -R, --raw                       Ativar modo bruto
  -q, --quiet                     Suprimir toda a saída e mostrar apenas a URL
      --no-redirect               Desabilitar redirecionamento
      --version                   Verificar versão
  -h, --help                      ajuda para gospider

gospider -q -s "https://google.com/"

gospider -s "https://google.com/" -o output -c 10 -d 1

gospider -S sites.txt -o output -c 10 -d 1

gospider -S sites.txt -o output -c 10 -d 1 -t 20

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source --include-subs

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source -H "Accept: */*" -H "Test: test" --cookie "testA=a; testB=b"

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source --burp burp_req.txt

gospider -s "https://google.com/" -o output -c 10 -d 1 --blacklist ".(woff|pdf)"

gospider -s "https://google.com/" -o output -c 10 -d 1 --length --filter-length "6871,24432"