uro

Usar uma lista de URLs para testes de segurança pode ser doloroso, pois há muitos URLs com conteúdo desinteressante/duplicado; o uro visa resolver isso.

Ele não faz nenhuma requisição http para os URLs e remove:

• URLs incrementais, ex.: /page/1/ e /page/2/
• posts de blog e conteúdo semelhante escrito por humanos, ex.: /posts/a-brief-history-of-time
• URLs com o mesmo caminho, mas diferença no valor do parâmetro, ex.: /page.php?id=1 e /page.php?id=2
• imagens, js, css e outros arquivos "inúteis"

Instalação

A forma recomendada de instalar o uro é a seguinte:

pipx install uro

Nota: Se você estiver usando uma versão mais antiga do python, use pip em vez de pipx

Uso básico

A maneira mais rápida de incluir o uro no seu fluxo de trabalho é alimentá-lo com dados via stdin e imprimi-los no terminal.

cat urls.txt | uro

Uso avançado

Lendo URLs de um arquivo (-i/--input)

uro -i input.txt

Escrevendo URLs em um arquivo (-o/--output)

Se o arquivo já existir, o uro não sobrescreverá o conteúdo. Caso contrário, ele criará um novo arquivo.

uro -i input.txt -o output.txt

Lista de permissões (-w/--whitelist)

O uro ignorará todas as outras extensões, exceto as fornecidas.

uro -w php asp html

Nota: Páginas sem extensão, ex.: /books/1 ainda serão incluídas. Para removê-las também, use --filter hasext.

Lista de bloqueio (-b/--blacklist)

O uro ignorará as extensões fornecidas.

uro -b jpg png js pdf

Nota: O uro possui uma lista de extensões "inúteis" que ele remove por padrão; essa lista será substituída pelas extensões que você fornecer através da opção blacklist. Páginas sem extensão, ex.: /books/1 ainda serão incluídas. Para removê-las também, use --filter hasext.

Filtros (-f/--filters)

Para um controle granular, o uro suporta os seguintes filtros:

1. hasparams: exibe apenas URLs que possuem parâmetros de consulta, ex.: http://example.com/page.php?id=
2. noparams: exibe apenas URLs que não possuem parâmetros de consulta, ex.: http://example.com/page.php
3. hasext: exibe apenas URLs que possuem extensão, ex.: http://example.com/page.php
4. noext: exibe apenas URLs que não possuem extensão, ex.: http://example.com/page
5. allexts: não remove nenhuma página com base na extensão, ex.: mantém .jpg que seria removido caso contrário
6. keepcontent: mantém conteúdo escrito por humanos, ex.: blogs.
7. keepslash: não remove a barra final dos URLs, ex.: http://example.com/page/
8. vuln: exibe apenas URLs com parâmetros que são conhecidos por serem vulneráveis. Mais informações.

Exemplo: uro --filters hasexts hasparams