GO111MODULE=on go install github.com/jaeles-project/gospider@latest

# Clone the repo
git clone https://github.com/jaeles-project/gospider.git
# Build the contianer
docker build -t gospider:latest gospider
# Run the container
docker run -t gospider -h

Schneller Web-Spider, geschrieben in Go - v1.1.5 von @thebl4ckturtle & @j3ssiejjj

Verwendung:
  gospider [Flags]

Flags:
  -s, --site string               Zu crawelnde Site
  -S, --sites string              Liste der zu crawelnden Sites
  -p, --proxy string              Proxy (Bsp.: http://127.0.0.1:8080)
  -o, --output string             Ausgabeordner
  -u, --user-agent string         Zu verwendender User-Agent
                                  	web: zufälliger Web-User-Agent
                                  	mobi: zufälliger mobiler User-Agent
                                  	oder Sie können Ihren eigenen User-Agent setzen (Standard "web")
      --cookie string             Zu verwendende Cookies (testA=a; testB=b)
  -H, --header stringArray        Zu verwendende Header (Mehrere Flags für mehrere Header)
      --burp string               Header und Cookies aus Burp-Raw-HTTP-Request laden
      --blacklist string          Blacklist-URL-Regex
      --whitelist string          Whitelist-URL-Regex
      --whitelist-domain string   Whitelist-Domain
  -t, --threads int               Anzahl der Threads (Sites parallel ausführen) (Standard 1)
  -c, --concurrent int            Maximale Anzahl gleichzeitiger Anfragen für die passenden Domains (Standard 5)
  -d, --depth int                 MaxDepth begrenzt die Rekursionstiefe besuchter URLs. (Auf 0 setzen für unendliche Rekursion) (Standard 1)
  -k, --delay int                 Verzögerung, die vor dem Erstellen einer neuen Anfrage an die passenden Domains gewartet wird (Sekunden)
  -K, --random-delay int          RandomDelay ist die zusätzliche zufällige Verzögerung, die zu Delay hinzugefügt wird (Sekunden)
  -m, --timeout int               Anfrage-Timeout (Sekunden) (Standard 10)
  -B, --base                      Alles deaktivieren und nur HTML-Inhalt verwenden
      --js                        Linkfinder in JavaScript-Dateien aktivieren (Standard true)
      --subs                      Subdomains einschließen
      --sitemap                   Versuchen, sitemap.xml zu crawlen
      --robots                    Versuchen, robots.txt zu crawlen (Standard true)
  -a, --other-source              URLs von Drittanbietern finden (Archive.org, CommonCrawl.org, VirusTotal.com, AlienVault.com)
  -w, --include-subs              Von Drittanbietern gecrawlte Subdomains einschließen. Standard ist Hauptdomain
  -r, --include-other-source      Auch URLs anderer Quellen einschließen (trotzdem crawlen und anfragen)
      --debug                     Debug-Modus aktivieren
      --json                      JSON-Ausgabe aktivieren
  -v, --verbose                   Ausführliche Ausgabe aktivieren
  -l, --length                    Länge anzeigen
  -L, --filter-length             Längenfilter aktivieren
  -R, --raw                       Rohausgabe aktivieren
  -q, --quiet                     Gesamte Ausgabe unterdrücken und nur URL anzeigen
      --no-redirect               Weiterleitungen deaktivieren
      --version                   Version überprüfen
  -h, --help                      Hilfe für gospider

gospider -q -s "https://google.com/"

gospider -s "https://google.com/" -o output -c 10 -d 1

gospider -S sites.txt -o output -c 10 -d 1

gospider -S sites.txt -o output -c 10 -d 1 -t 20

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source --include-subs

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source -H "Accept: */*" -H "Test: test" --cookie "testA=a; testB=b"

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source --burp burp_req.txt

gospider -s "https://google.com/" -o output -c 10 -d 1 --blacklist ".(woff|pdf)"

gospider -s "https://google.com/" -o output -c 10 -d 1 --length --filter-length "6871,24432"