ksharinarayanan/sourcewolfErstaunlich schneller Response-Crawler, um interessante Dinge im Quellcode zu finden! 😎🔥
Getestete Umgebungen: Windows, MAC, Linux und Windows-Subsystem für Linux (WSL)
Unterstützen Sie dieses Projekt, indem Sie ein Sponsor werden. Schauen Sie sich diese großartigen Sponsoren an:
Oxylabs bietet Premium-Proxies mit über 100 Mio. IPs in 195 Ländern und einsatzbereite Scraper-APIs. Sie können den einmaligen Aktionscode boost35 verwenden, um 35 % Rabatt auf Residential- und Mobile-Proxies, Web Unblocker und Scraper-APIs zu erhalten.
Durchsuchen von Antworten, um versteckte Endpunkte zu finden, entweder durch Senden von Anfragen oder aus den lokalen Antwortdateien (falls vorhanden).
Erstellen einer Liste von JavaScript-Variablen, die im Quellcode gefunden wurden.
Extrahieren aller Social-Media-Links von den Websites, um potenziell defekte Links zu identifizieren.
Brute-Force-Angriff auf den Host mit einer Wortliste.
Abrufen der Statuscodes für eine Liste von URLs / Herausfiltern der aktiven Domains aus einer Liste von Hosts.
Alle oben genannten Funktionen werden mit hoher Geschwindigkeit ausgeführt.
SourceWolf verwendet das Session-Modul aus der requests-Bibliothek, was bedeutet, dass es die TCP-Verbindung wiederverwendet, was es sehr schnell macht.
SourceWolf bietet Ihnen die Möglichkeit, die Antwortdateien lokal zu durchsuchen, sodass Sie keine Anfragen mehr an einen Endpunkt senden, dessen Antwort Sie bereits eine Kopie haben.
Die endgültigen Endpunkte liegen in vollständiger Form mit einem Host wie https://example.com/api/admin vor, nicht als /api/admin. Dies kann nützlich sein, wenn Sie eine Liste von Hosts scannen.
> python3 sourcewolf.py -h
-l LIST, --list LIST List of javascript URLs
-u URL, --url URL Single URL
-t THREADS, --threads THREADS
Number of concurrent threads to use (default 5)
-o OUTPUT_DIR, --output directory-name OUTPUT_DIR
Store URL response text in a directory for further analysis
-s STATUS_CODE_FILE, --store-status-code STATUS_CODE_FILE
Store the status code in a file
-b BRUTE, --brute BRUTE
Brute force URL with FUZZ keyword (--wordlist must also be used along with this)
-w WORDLIST, --wordlist WORDLIST
Wordlist for brute forcing URL
-v, --verbose Verbose mode (displays all the requests that are being sent)
-c CRAWL_OUTPUT, --crawl-output CRAWL_OUTPUT
Output directory to store the crawled output
-d DELAY, --delay DELAY
Delay in the requests (in seconds)
--timeout TIMEOUT Maximum time to wait for connection timing out (in seconds)
--headers HEADERS Add custom headers (Must be passed in as {'Token': 'YOUR-TOKEN-HERE'}) --> Dictionary format
--cookies COOKIES Add cookies (Must be passed in as {'Cookie': 'YOUR-COOKIE-HERE'}) --> Dictionary format
--only-success Only print 2XX responses
--local LOCAL Directory with local response files to crawl for
--no-colors Remove colors from the output
--update-info Check for the latest version, and update if required
Vollständige Verwendung:
python3 sourcewolf.py -l domains -o output/ -c crawl_output
domains ist die Liste der URLs, die Sie durchsuchen möchten, im Format:
https://example.com/
https://exisiting.example.com/
https://exisiting.example.com/dashboard
https://example.com/hitme
output/ ist das Verzeichnis, in dem die Antworttextdateien der Eingabedatei gespeichert werden.
Sie werden im Format output/2XX, output/3XX, output/4XX und output/5XX gespeichert.
output/2XX speichert 2XX-Statuscode-Antworten usw.
crawl_output, angegeben mit dem -c-Flag, wird verwendet, um die Ausgabe in einem Verzeichnis zu speichern, das SourceWolf durch das Durchsuchen der HTTP-Antwortdateien erstellt, die im Verzeichnis output/ gespeichert sind (derzeit nur Endpunkte).
Das Verzeichnis crawl_output/ enthält:
endpoints - Alle gefundenen Endpunkte
jsvars - Alle JavaScript-Variablen
Das Verzeichnis wird weitere Dateien enthalten, sobald weitere Module und Funktionen in SourceWolf integriert werden.
(ODER)
Für eine einzelne URL,
python3 sourcewolf.py -u example.com/api/endpoint -o output/ -c crawl_output
Nur das Flag -l wird durch -u ersetzt, alles andere bleibt gleich.
python3 sourcewolf.py -b https://hackerone.com/FUZZ -w /path/to/wordlist -s status
Das -w-Flag ist optional. Wenn nicht angegeben, wird eine Standard-Wortliste mit 6124 Wörtern verwendet.
SourceWolf ersetzt das FUZZ-Schlüsselwort aus dem -b-Wert durch die Wörter aus der Wortliste und sendet die Anfragen. Dies ermöglicht es Ihnen, auch Parameterwerte per Brute-Force zu ermitteln.
-s speichert die Ausgabe in einer Datei namens status
Screenshot nicht enthalten, da die Ausgabe ähnlich wie im
Crawl-Antwort-Modus aussieht.
python3 sourcewolf -l domains -s live
Die Datei domains kann alles enthalten, wie Subdomains, Endpunkte, JS-Dateien.
Das -s-Flag schreibt die Antwort in die Datei live.
Sowohl der Brute-Force- als auch der Probing-Modus geben standardmäßig alle Statuscodes außer 404 aus. Sie können dieses Verhalten anpassen, um nur
2XX-Antworten mit dem Flag--only-successauszugeben.
SourceWolf nutzt auch Multithreading.
Die Standardanzahl von Threads für alle Modi ist 5. Sie können die Anzahl der Threads mit dem -t-Flag erhöhen.
Zusätzlich zu den oben genannten drei Modi gibt es die Option, lokal zu crawlen, vorausgesetzt, Sie haben die Dateien lokal und folgen den sourcewolf-kompatiblen Namenskonventionen.
Speichern Sie alle Antworten in einem Verzeichnis, z.B. responses/
python3 sourcewolf.py --local responses/
Dies wird das lokale Verzeichnis durchsuchen und Ihnen die Ergebnisse liefern.