
ripulisce le liste di URL per crawling/pentesting
Usare una lista di URL per i test di sicurezza può essere fastidioso poiché ci sono molti URL con contenuti poco interessanti/duplicati; uro mira a risolvere questo problema.
Non effettua alcuna richiesta http agli URL e rimuove:
/page/1/ e /page/2//posts/a-brief-history-of-time/page.php?id=1 e /page.php?id=2
Il metodo consigliato per installare uro è il seguente:
pipx install uro
Nota: Se stai usando una versione precedente di python, usa
pipinvece dipipx
Il modo più rapido per includere uro nel tuo flusso di lavoro è passargli i dati tramite stdin e stamparli sul terminale.
cat urls.txt | uro
uro -i input.txt
Se il file esiste già, uro non sovrascriverà i contenuti. Altrimenti, creerà un nuovo file.
uro -i input.txt -o output.txt
-w/--whitelist)uro ignorerà tutte le altre estensioni tranne quelle fornite.
uro -w php asp html
Nota: Le pagine senza estensione, ad esempio /books/1, saranno comunque incluse. Per rimuoverle anch'esse, usa --filter hasext.
-b/--blacklist)uro ignorerà le estensioni fornite.
uro -b jpg png js pdf
Nota: uro ha un elenco di estensioni "inutili" che rimuove per impostazione predefinita; tale elenco verrà sovrascritto dalle estensioni fornite tramite l'opzione blacklist. Le pagine senza estensione, ad esempio /books/1, saranno comunque incluse. Per rimuoverle anch'esse, usa --filter hasext.
Per un controllo granulare, uro supporta i seguenti filtri:
http://example.com/page.php?id=http://example.com/page.phphttp://example.com/page.phphttp://example.com/page.jpg che altrimenti verrebbe rimossohttp://example.com/page/Esempio: uro --filters hasexts hasparams