utkusen/urlhunterein Recon-Tool, das die Suche nach URLs ermöglicht, die über Verkürzungsdienste freigegeben werden
o Utku Sen's
_/\o
( Oo) |/
(=-) .===O- U -O-
/ _/U' hunter /|RL
|| |/
\ | utkusen.com
|K || twitter.com/utkusen_en
urlhunter ist ein Recon-Tool, mit dem nach URLs gesucht werden kann, die über Kürzungsdienste wie bit.ly und goo.gl freigelegt werden. Das Projekt ist in Go geschrieben.
Eine Gruppe namens URLTeam (Respekt an sie) brute-forcen die URL-Kürzungsdienste und veröffentlichen die Ergebnisse täglich. urlhunter lädt deren Sammlungen herunter und ermöglicht deren Analyse.
Sie können die vorgefertigten Binärdateien von der Releases-Seite herunterladen und ausführen. Zum Beispiel:
tar xzvf urlhunter_0.1.0_Linux_amd64.tar.gz
./urlhunter --help
Installieren Sie Go auf Ihrem System.
Führen Sie aus: go install github.com/utkusen/urlhunter@latest
Hinweis für Windows-Benutzer: urlhunter verwendet XZ Utils, die auf Linux- und macOS-Systemen vorinstalliert sind. Für Windows-Systeme müssen Sie es von https://tukaani.org/xz/ herunterladen.
urlhunter benötigt 3 Parameter zum Ausführen: -keywords, -date.
Zum Beispiel: urlhunter --keywords keywords.txt --date 2020-11-20
Sie müssen die Textdatei angeben, die die zu durchsuchenden Schlüsselwörter enthält. Schlüsselwörter müssen zeilenweise geschrieben werden. Sie haben drei verschiedene Möglichkeiten, Schlüsselwörter anzugeben:
Einzelnes Schlüsselwort: urlhunter sucht nach dem angegebenen Schlüsselwort als Teilzeichenfolge. Zum Beispiel:
acme.com wird sowohl auf https://acme.com/blabla als auch auf https://another.com/?referrer=acme.com zutreffen.
Mehrere Schlüsselwörter: urlhunter sucht mit einer UND-Logik nach den angegebenen Schlüsselwörtern. Das bedeutet, eine URL muss alle angegebenen Schlüsselwörter enthalten. Schlüsselwörter müssen mit dem Zeichen , getrennt werden. Zum Beispiel:
acme.com,admin wird auf https://acme.com/secret/adminpanel zutreffen, aber nicht auf https://acme.com/somethingelse.
Regex-Werte: urlhunter sucht nach dem angegebenen Regex-Wert. In der Schlüsselwortdatei muss die Zeile, die einen regulären Ausdruck enthält, mit der Zeichenkette regex beginnen. Das Format ist: regex REGEXFORMULA. Zum Beispiel:
regex 1\d{10} wird auf https://example.com/index.php?id=12938454312 zutreffen, aber nicht auf https://example.com/index.php?id=abc223.
urlhunter lädt die Archivdateien des/der angegebenen Datums/Daten herunter. Sie haben drei verschiedene Möglichkeiten, das Datum anzugeben:
Neuestes: urlhunter lädt das neueste Archiv herunter. -date latest
Einzelnes Datum: urlhunter lädt das Archiv des angegebenen Datums herunter. Datumsformat ist YYYY-MM-DD.
Zum Beispiel: -date 2020-11-20
Jahr: urlhunter lädt das Archiv des angegebenen Jahres herunter. Jahresformat ist YYYY.
Zum Beispiel: -date 2024
Datumsbereich: urlhunter lädt alle Archive zwischen angegebenem Start- und Enddatum herunter.
Zum Beispiel: -date 2020-11-10:2020-11-20
Sie können die Ausgabedatei mit dem Parameter -o angeben. Zum Beispiel -o out.txt
Sie können den Parameter -rm angeben, um die heruntergeladenen Archivordner nach der Verarbeitung zu entfernen. Dies ist nützlich, um Speicherplatz zu sparen.
Archive.org drosselt die Geschwindigkeit beim Herunterladen von Dateien. Daher dauert das Herunterladen eines Archivs länger als gewöhnlich. Als Workaround können Sie die Archive per Torrent herunterladen und in den Ordner archive/ legen, der sich im selben Verzeichnis wie die urlhunter-Binärdatei befindet. Die Verzeichnisstruktur sieht dann wie folgt aus:
|-urlhunter
|---urlhunter(binary)
|---archive
|-----urlteam_2020-11-20-11-17-04
|-----urlteam_2020-11-17-11-17-04
urlhunter könnte für Cyber-Intelligence- und Bug-Bounty-Zwecke nützlich sein. Zum Beispiel:
docs.google.com/a/acme.com drive.google.com/a/acme.com ermöglicht es Ihnen, öffentliche Google Docs&Drive-Freigabelinks der Acme-Firma zu finden.
acme.com,password_reset_token könnte es Ihnen ermöglichen, funktionierende Passwort-Reset-Tokens von acme.com zu finden.
trello.com ermöglicht es Ihnen, öffentliche Trello-Adressen zu finden.
Besonderer Dank gilt Samet Bekmezci(@sametbekmezci), der mir die Idee zu diesem Tool gab.