UDdup - Outil de déduplication d'URLs

L'outil prend une liste d'URLs et supprime les pages « dupliquées » au sens des motifs d'URL qui sont probablement répétitifs et pointent vers le même modèle de page web.

Par exemple :

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Toutes les URLs ci-dessus pointent probablement vers le même « modèle » de produit. Par conséquent, il devrait suffire de scanner seulement certaines de ces URLs avec nos différents scanners.

Le résultat des URLs ci-dessus après UDdup devrait être :

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Pourquoi en ai-je besoin ?

Principalement pour un meilleur processus de reconnaissance (automatisé), avec moins de bruit (à la fois pour le testeur et la cible).

Exemples

Jetez un œil à demo.txt qui est le fichier d'URLs brutes dont le résultat est dans demo-results.txt.

Installation

Avec pip (Recommandé)

pip install uddup

Manuellement (à partir du code)

# Clonez le dépôt.
git clone https://github.com/rotemreiss/uddup.git

# Installez les dépendances Python.
cd uddup
pip install -r requirements.txt

Utilisation

uddup -u demo.txt -o ./demo-result.txt

Plus d'options d'utilisation

uddup -h

Filtrer les chemins par expression régulière

Permet de filtrer des motifs de chemins personnalisés. Par exemple, si nous voulons filtrer tous les chemins qui commencent par /product, nous devrons exécuter :

# Expression régulière unique
uddup -u demo.txt -fp "^product"

Entrée :

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

Sortie :

https://www.example.com/
https://www.example.com/privacy-policy

Expression régulière avancée avec plusieurs filtres de chemin

uddup -u demo.txt -fp "(^product)|(^category)"

Contribuer

N'hésitez pas à forker le dépôt et à soumettre des pull requests.

Support

Ccréer un nouveau ticket GitHub

Vous voulez dire merci ? :) Contactez-moi sur Linkedin

Licence

• Licence MIT