UDdup - Ferramenta de Deduplicação de URLs

A ferramenta recebe uma lista de URLs e remove páginas "duplicadas" no sentido de padrões de URL que são provavelmente repetitivos e apontam para o mesmo modelo de página web.

Por exemplo:

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Todos os acima provavelmente apontam para o mesmo "modelo" de produto. Portanto, deve ser suficiente escanear apenas algumas dessas URLs pelos nossos vários scanners.

O resultado do acima após UDdup deve ser:

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Por que preciso disso?

Principalmente para um melhor processo de reconhecimento (automatizado), com menos ruído (tanto para o testador quanto para o alvo).

Exemplos

Dê uma olhada em demo.txt que é o arquivo de URLs brutas que resulta em demo-results.txt.

Instalação

Com pip (Recomendado)

pip install uddup

Manual (a partir do código)

# Clone the repository.
git clone https://github.com/rotemreiss/uddup.git

# Install the Python requirements.
cd uddup
pip install -r requirements.txt

Uso

uddup -u demo.txt -o ./demo-result.txt

Mais Opções de Uso

uddup -h

Filtrar Caminhos por Regex

Permite filtrar padrões de caminho personalizados. Por exemplo, se quisermos filtrar todos os caminhos que começam com /product, precisamos executar:

# Single Regex
uddup -u demo.txt -fp "^product"

Entrada:

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

Saída:

https://www.example.com/
https://www.example.com/privacy-policy

Regex Avançado com múltiplos filtros de caminho

uddup -u demo.txt -fp "(^product)|(^category)"

Contribuindo

Sinta-se à vontade para fazer um fork do repositório e enviar pull-requests.

Suporte

Criar um novo issue no GitHub

Quer agradecer? :) Envie-me uma mensagem no Linkedin

Licença

• Licença MIT