NetScout

NetScout é uma ferramenta OSINT que encontra domínios, subdomínios, diretórios, endpoints e arquivos para uma URL inicial fornecida. Ela consiste nos seguintes componentes:

• Cliente BinaryEdge: Obtém subdomínios
• DNS: Tenta realizar uma transferência de zona DNS para extrair subdomínios
• Crawler: Obtém URLs e diretórios da URL inicial
• Cliente SERP: Obtém links para arquivos. Utiliza técnicas de Google dorking para procurar tipos de arquivo específicos com base nas extensões encontradas pelo crawler
• Varredura de URLs encurtadas: Este módulo aproveita as listas de URLs encurtadas do URLTeam. Ele baixa a lista que foi enviada por último e verifica cada entrada em busca de um host que corresponda ao host da URL inicial. Esses arquivos de texto podem ser muito grandes (>500mb), e essa varredura leva vários minutos. Este módulo foi fortemente inspirado no urlhunter.

Configuração

Como instalar

• Instalação via Go: - Execute go install github.com/caio-ishikawa/netscout@latest
• Compilar a partir do código-fonte: - Clone o repositório - Execute make install

APIs externas

O NetScout usa duas APIs externas: BinaryEdge e SerpAPI. A BinaryEdge é usada para consultar dados históricos de subdomínios registrados para a URL inicial, e a API SERP é usada para coletar resultados da Pesquisa Google para tipos de arquivo específicos da URL inicial.

Definindo chaves de API

O NetScout espera que as chaves de API sejam definidas como variáveis de ambiente:

• export BINARYEDGE_API_KEY="<key>"
• export SERP_API_KEY="<key>"

Exemplos

Uso:

=======================================================================
 ███▄    █ ▓█████▄▄▄█████▓  ██████  ▄████▄   ▒█████   █    ██ ▄▄▄█████▓
 ██ ▀█   █ ▓█   ▀▓  ██▒ ▓▒▒██    ▒ ▒██▀ ▀█  ▒██▒  ██▒ ██  ▓██▒▓  ██▒ ▓▒
▓██  ▀█ ██▒▒███  ▒ ▓██░ ▒░░ ▓██▄   ▒▓█    ▄ ▒██░  ██▒▓██  ▒██░▒ ▓██░ ▒░
▓██▒  ▐▌██▒▒▓█  ▄░ ▓██▓ ░   ▒   ██▒▒▓▓▄ ▄██▒▒██   ██░▓▓█  ░██░░ ▓██▓ ░ 
▒██░   ▓██░░▒████▒ ▒██▒ ░ ▒██████▒▒▒ ▓███▀ ░░ ████▓▒░▒▒█████▓   ▒██▒ ░ 
░ ▒░   ▒ ▒ ░░ ▒░ ░ ▒ ░░   ▒ ▒▓▒ ▒ ░░ ░▒ ▒  ░░ ▒░▒░▒░ ░▒▓▒ ▒ ▒   ▒ ░░   
░ ░░   ░ ▒░ ░ ░  ░   ░    ░ ░▒  ░ ░  ░  ▒     ░ ▒ ▒░ ░░▒░ ░ ░     ░    
   ░   ░ ░    ░    ░      ░  ░  ░  ░        ░ ░ ░ ▒   ░░░ ░ ░   ░      
         ░    ░  ░              ░  ░ ░          ░ ░     ░              
=======================================================================
Usage:
  -u string
        A string representing the URL
  -d int
        An integer representing the depth of the crawl
  -t int
        An integer representing the amount of threads to use for the scans (default 5)
  -delay-ms int
        An integer representing the delay between requests in miliseconds
  -lock-host
        A boolean - if set, it will only save URLs with the same host as the seed
  -o string
        A string representing the name of the output file
  -h string
        A comma-separated key-value string representing request headers
  -c string
        A comma-separated key-value string representing the cookies
  -v
        A boolean - if set, it will display all found URLs


  -skip-axfr
        A bool - if set, it will skip the DNS zone transfer attempt
  -skip-binaryedge
        A bool - if set, it will skip BinaryEdge subdomain scan
  -skip-google-dork 
        A bool - if set, it will skip the Google filetype scan
  -headless
        A bool - if set, all requests in the crawler will be made through a headless Chrome browser (requires Google Chrome)
  -deep
        A bool - if set, the shortened URL scan will be performed (can take several minutes)

Define a URL inicial, a profundidade e o arquivo de saída:

netscout -u https://crawler-test -d 2 -o netscout.txt

Ignora BinaryEdge e Google dork:

netscout -u https://crawler-test.com -d 2 --skip-binaryedge --skip-google-dork -o netscout.txt

Define a contagem de threads para 5, o atraso das requisições para 1000ms e força as requisições a serem feitas por meio de um navegador Chrome headless.

netscout -u https://crawler-test.com -d 2 -t 5 --delay-ms 1000 --headless -o netscout.txt

Define a profundidade para 2 e adiciona cookies e valores de cabeçalho

netscout -u https://crawler-test.com --deep -d 2 -t 5 -h "key=test,key_two=test_2" -c "key=test,key_two=test_2"

Ativa a varredura de URLs encurtadas, define a profundidade do crawler para 2 e o número de threads para 5

netscout -u https://crawler-test.com --deep -d 2 -t 5

Desenvolvimento

Antes de enviar um PR, certifique-se de que o projeto compila com sucesso e que todos os testes existentes passam. Mais informações em Testes

Obrigado pelo seu interesse em contribuir com este projeto!

Testes

Os testes são colocados no mesmo diretório do arquivo testado, e os testes do crawler exigem que o DVWA (Damn Vulnerable Web App) esteja rodando localmente com a porta 80 exposta. Antes de executar os testes, os arquivos de teste devem ser configurados.

Toda a configuração necessária para os testes é tratada no Makefile:

• Para baixar a imagem do DVWA, execute make test-container-pull
• Para configurar os arquivos de teste, execute make testfiles-setup
• Para executar o container, execute make test-container-run
• Para executar os testes, execute make test
• Para remover os arquivos de teste, execute make testfiles-teardown