NetScout

NetScout ist ein OSINT-Tool, das Domains, Subdomains, Verzeichnisse, Endpunkte und Dateien für eine angegebene Seed-URL findet. Es besteht aus den folgenden Komponenten:

• BinaryEdge-Client: Ruft Subdomains ab
• DNS: Versucht, einen DNS-Zonentransfer durchzuführen, um Subdomains zu extrahieren
• Crawler: Ruft URLs und Verzeichnisse von der Seed-URL ab
• SERP-Client: Ruft Links für Dateien ab. Er nutzt Google-Dorking-Techniken, um anhand der vom Crawler gefundenen Dateierweiterungen nach bestimmten Dateitypen zu suchen.
• Scan gekürzter URLs: Dieses Modul nutzt die Listen gekürzter URLs von URLTeam. Es lädt die zuletzt hochgeladene Liste herunter und prüft jeden Eintrag auf einen Host, der mit dem Host der Seed-URL übereinstimmt. Diese Textdateien können sehr groß sein (>500 MB), und dieser Scan dauert mehrere Minuten. Dieses Modul wurde stark von urlhunter inspiriert.

Einrichtung

Installation

• Go-Installation: - Führen Sie go install github.com/caio-ishikawa/netscout@latest aus
• Aus dem Quellcode bauen: - Repository klonen - Führen Sie make install aus

Externe APIs

NetScout verwendet zwei externe APIs: BinaryEdge und SerpAPI. BinaryEdge wird verwendet, um historische Daten von Subdomains abzufragen, die für die Seed-URL registriert sind, und die SERP-API wird verwendet, um Google-Suchergebnisse für bestimmte Dateitypen der Seed-URL zu sammeln.

API-Schlüssel festlegen

NetScout erwartet, dass die API-Schlüssel als Umgebungsvariablen gesetzt werden:

• export BINARYEDGE_API_KEY="<key>"
• export SERP_API_KEY="<key>"

Beispiele

Verwendung:

=======================================================================
 ███▄    █ ▓█████▄▄▄█████▓  ██████  ▄████▄   ▒█████   █    ██ ▄▄▄█████▓
 ██ ▀█   █ ▓█   ▀▓  ██▒ ▓▒▒██    ▒ ▒██▀ ▀█  ▒██▒  ██▒ ██  ▓██▒▓  ██▒ ▓▒
▓██  ▀█ ██▒▒███  ▒ ▓██░ ▒░░ ▓██▄   ▒▓█    ▄ ▒██░  ██▒▓██  ▒██░▒ ▓██░ ▒░
▓██▒  ▐▌██▒▒▓█  ▄░ ▓██▓ ░   ▒   ██▒▒▓▓▄ ▄██▒▒██   ██░▓▓█  ░██░░ ▓██▓ ░ 
▒██░   ▓██░░▒████▒ ▒██▒ ░ ▒██████▒▒▒ ▓███▀ ░░ ████▓▒░▒▒█████▓   ▒██▒ ░ 
░ ▒░   ▒ ▒ ░░ ▒░ ░ ▒ ░░   ▒ ▒▓▒ ▒ ░░ ░▒ ▒  ░░ ▒░▒░▒░ ░▒▓▒ ▒ ▒   ▒ ░░   
░ ░░   ░ ▒░ ░ ░  ░   ░    ░ ░▒  ░ ░  ░  ▒     ░ ▒ ▒░ ░░▒░ ░ ░     ░    
   ░   ░ ░    ░    ░      ░  ░  ░  ░        ░ ░ ░ ▒   ░░░ ░ ░   ░      
         ░    ░  ░              ░  ░ ░          ░ ░     ░              
=======================================================================
Usage:
  -u string
        A string representing the URL
  -d int
        An integer representing the depth of the crawl
  -t int
        An integer representing the amount of threads to use for the scans (default 5)
  -delay-ms int
        An integer representing the delay between requests in miliseconds
  -lock-host
        A boolean - if set, it will only save URLs with the same host as the seed
  -o string
        A string representing the name of the output file
  -h string
        A comma-separated key-value string representing request headers
  -c string
        A comma-separated key-value string representing the cookies
  -v
        A boolean - if set, it will display all found URLs


  -skip-axfr
        A bool - if set, it will skip the DNS zone transfer attempt
  -skip-binaryedge
        A bool - if set, it will skip BinaryEdge subdomain scan
  -skip-google-dork 
        A bool - if set, it will skip the Google filetype scan
  -headless
        A bool - if set, all requests in the crawler will be made through a headless Chrome browser (requires Google Chrome)
  -deep
        A bool - if set, the shortened URL scan will be performed (can take several minutes)

Setzt Seed-URL, Tiefe und Ausgabedatei:

netscout -u https://crawler-test -d 2 -o netscout.txt

Überspringt BinaryEdge und Google-Dork:

netscout -u https://crawler-test.com -d 2 --skip-binaryedge --skip-google-dork -o netscout.txt

Setzt die Anzahl der Threads auf 5, die Anfrageverzögerung auf 1000 ms und erzwingt, dass Anfragen über einen Headless-Chrome-Browser gesendet werden.

netscout -u https://crawler-test.com -d 2 -t 5 --delay-ms 1000 --headless -o netscout.txt

Setzt die Tiefe auf 2 und fügt Cookies und Header-Werte hinzu

netscout -u https://crawler-test.com --deep -d 2 -t 5 -h "key=test,key_two=test_2" -c "key=test,key_two=test_2"

Aktiviert den Scan gekürzter URLs, setzt die Crawler-Tiefe auf 2 und die Threads auf 5

netscout -u https://crawler-test.com --deep -d 2 -t 5

Entwicklung

Bitte stellen Sie vor dem Einreichen eines PR sicher, dass das Projekt erfolgreich gebaut wird und alle vorhandenen Tests bestehen. Weitere Informationen unter Testing

Vielen Dank für Ihr Interesse, zu diesem Projekt beizutragen!

Testing

Die Tests befinden sich im selben Verzeichnis wie die getestete Datei, und die Crawler-Tests erfordern, dass die DVWA (Damn Vulnerable Web App) lokal läuft und Port 80 freigegeben ist. Vor dem Ausführen der Tests müssen die Testdateien eingerichtet werden.

Die gesamte für die Tests benötigte Einrichtung wird im Makefile behandelt:

• Um das DVWA-Image herunterzuladen, führen Sie make test-container-pull aus
• Um die Testdateien einzurichten, führen Sie make testfiles-setup aus
• Um den Container auszuführen, führen Sie make test-container-run aus
• Um die Tests auszuführen, führen Sie make test aus
• Um die Testdateien zu bereinigen, führen Sie make testfiles-teardown aus