s0md3v/uroentrümpelt URL-Listen für Crawling/Pentesting
Die Verwendung einer URL-Liste für Sicherheitstests kann mühsam sein, da es viele URLs mit uninteressantem/doppeltem Inhalt gibt; uro zielt darauf ab, das zu lösen.
Es stellt keine http-Anfragen an die URLs und entfernt:
/page/1/ und /page/2//posts/a-brief-history-of-time/page.php?id=1 und /page.php?id=2
Der empfohlene Weg, uro zu installieren, ist wie folgt:
pipx install uro
Hinweis: Wenn Sie eine ältere Python-Version verwenden, verwenden Sie
pipanstelle vonpipx
Der schnellste Weg, uro in Ihren Workflow einzubinden, besteht darin, ihm Daten über stdin zuzuführen und sie in Ihrem Terminal auszugeben.
cat urls.txt | uro
uro -i input.txt
Wenn die Datei bereits existiert, überschreibt uro den Inhalt nicht. Andernfalls wird eine neue Datei erstellt.
uro -i input.txt -o output.txt
-w/--whitelist)uro ignoriert alle anderen Erweiterungen außer den angegebenen.
uro -w php asp html
Hinweis: Seiten ohne Erweiterung, z.B. /books/1, werden weiterhin eingeschlossen. Um auch diese zu entfernen, verwenden Sie --filter hasext.
-b/--blacklist)uro ignoriert die angegebenen Erweiterungen.
uro -b jpg png js pdf
Hinweis: uro hat eine Liste von "nutzlosen" Erweiterungen, die standardmäßig entfernt werden; diese Liste wird durch die Erweiterungen, die Sie über die Blacklist-Option angeben, überschrieben. Seiten ohne Erweiterung, z.B. /books/1, werden weiterhin eingeschlossen. Um auch diese zu entfernen, verwenden Sie --filter hasext.
Für eine feinere Kontrolle unterstützt uro die folgenden Filter:
http://example.com/page.php?id=http://example.com/page.phphttp://example.com/page.phphttp://example.com/page.jpg behalten, das sonst entfernt würdehttp://example.com/page/Beispiel: uro --filters hasexts hasparams