NetScout

NetScout est un outil OSINT qui trouve des domaines, sous-domaines, répertoires, endpoints et fichiers pour une URL de départ donnée. Il se compose des composants suivants :

• Client BinaryEdge : récupère les sous-domaines
• DNS : tente d'effectuer un transfert de zone DNS pour extraire les sous-domaines
• Crawler : récupère les URL et les répertoires à partir de l'URL de départ
• Client SERP : récupère les liens vers les fichiers. Il utilise des techniques de Google dorking pour rechercher des types de fichiers spécifiques en fonction des extensions de fichiers trouvées par le crawler
• Analyse des URL raccourcies : ce module exploite les listes d'URL raccourcies de URLTeam. Il télécharge la liste qui a été mise en ligne en dernier et vérifie chaque entrée pour trouver un hôte correspondant à celui de l'URL de départ. Ces fichiers texte peuvent être très volumineux (>500 Mo) et cette analyse prend plusieurs minutes. Ce module s'inspire fortement de urlhunter.

Configuration

Comment installer

• Installation via Go : - Exécutez go install github.com/caio-ishikawa/netscout@latest
• Compilation depuis les sources : - Clonez le dépôt - Exécutez make install

API externes

NetScout utilise deux API externes : BinaryEdge et SerpAPI. BinaryEdge est utilisé pour interroger les données historiques des sous-domaines enregistrés pour l'URL de départ, et l'API SERP est utilisée pour collecter les résultats de recherche Google pour des types de fichiers spécifiques liés à l'URL de départ.

Configuration des clés API

NetScout attend que les clés API soient définies comme variables d'environnement :

• export BINARYEDGE_API_KEY="<key>"
• export SERP_API_KEY="<key>"

Exemples

Utilisation :

=======================================================================
 ███▄    █ ▓█████▄▄▄█████▓  ██████  ▄████▄   ▒█████   █    ██ ▄▄▄█████▓
 ██ ▀█   █ ▓█   ▀▓  ██▒ ▓▒▒██    ▒ ▒██▀ ▀█  ▒██▒  ██▒ ██  ▓██▒▓  ██▒ ▓▒
▓██  ▀█ ██▒▒███  ▒ ▓██░ ▒░░ ▓██▄   ▒▓█    ▄ ▒██░  ██▒▓██  ▒██░▒ ▓██░ ▒░
▓██▒  ▐▌██▒▒▓█  ▄░ ▓██▓ ░   ▒   ██▒▒▓▓▄ ▄██▒▒██   ██░▓▓█  ░██░░ ▓██▓ ░ 
▒██░   ▓██░░▒████▒ ▒██▒ ░ ▒██████▒▒▒ ▓███▀ ░░ ████▓▒░▒▒█████▓   ▒██▒ ░ 
░ ▒░   ▒ ▒ ░░ ▒░ ░ ▒ ░░   ▒ ▒▓▒ ▒ ░░ ░▒ ▒  ░░ ▒░▒░▒░ ░▒▓▒ ▒ ▒   ▒ ░░   
░ ░░   ░ ▒░ ░ ░  ░   ░    ░ ░▒  ░ ░  ░  ▒     ░ ▒ ▒░ ░░▒░ ░ ░     ░    
   ░   ░ ░    ░    ░      ░  ░  ░  ░        ░ ░ ░ ▒   ░░░ ░ ░   ░      
         ░    ░  ░              ░  ░ ░          ░ ░     ░              
=======================================================================
Usage:
  -u string
        A string representing the URL
  -d int
        An integer representing the depth of the crawl
  -t int
        An integer representing the amount of threads to use for the scans (default 5)
  -delay-ms int
        An integer representing the delay between requests in miliseconds
  -lock-host
        A boolean - if set, it will only save URLs with the same host as the seed
  -o string
        A string representing the name of the output file
  -h string
        A comma-separated key-value string representing request headers
  -c string
        A comma-separated key-value string representing the cookies
  -v
        A boolean - if set, it will display all found URLs


  -skip-axfr
        A bool - if set, it will skip the DNS zone transfer attempt
  -skip-binaryedge
        A bool - if set, it will skip BinaryEdge subdomain scan
  -skip-google-dork 
        A bool - if set, it will skip the Google filetype scan
  -headless
        A bool - if set, all requests in the crawler will be made through a headless Chrome browser (requires Google Chrome)
  -deep
        A bool - if set, the shortened URL scan will be performed (can take several minutes)

Définit l'URL de départ, la profondeur et le fichier de sortie :

netscout -u https://crawler-test -d 2 -o netscout.txt

Ignore BinaryEdge et le Google dork :

netscout -u https://crawler-test.com -d 2 --skip-binaryedge --skip-google-dork -o netscout.txt

Définit le nombre de threads à 5, le délai des requêtes à 1000 ms et force les requêtes à être effectuées via un navigateur Chrome headless.

netscout -u https://crawler-test.com -d 2 -t 5 --delay-ms 1000 --headless -o netscout.txt

Définit la profondeur à 2 et ajoute des cookies et des valeurs d'en-tête

netscout -u https://crawler-test.com --deep -d 2 -t 5 -h "key=test,key_two=test_2" -c "key=test,key_two=test_2"

Active l'analyse des URL raccourcies, définit la profondeur du crawler à 2 et le nombre de threads à 5

netscout -u https://crawler-test.com --deep -d 2 -t 5

Développement

Avant de soumettre une PR, veuillez vous assurer que le projet compile correctement et que tous les tests existants passent. Plus d'informations dans Tests.

Merci de votre intérêt à contribuer à ce projet !

Tests

Les tests sont placés dans le même répertoire que le fichier testé, et les tests du crawler nécessitent que la DVWA (Damn Vulnerable Web App) soit exécutée localement avec le port 80 exposé. Avant d'exécuter les tests, les fichiers de test doivent être configurés.

Toute la configuration nécessaire pour les tests est gérée dans le Makefile :

• Pour récupérer l'image DVWA, exécutez make test-container-pull
• Pour configurer les fichiers de test make testfiles-setup
• Pour exécuter le conteneur make test-container-run
• Pour exécuter les tests make test
• Pour supprimer les fichiers de test make testfiles-teardown