UDdup - Outil de déduplication d'URLs

L'outil prend une liste d'URLs et supprime les pages « dupliquées » au sens des motifs d'URL qui sont probablement répétitifs et pointent vers le même modèle de page web.

Par exemple :

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Toutes les URLs ci-dessus pointent probablement vers le même « modèle » de produit. Par conséquent, il devrait suffire de scanner seulement certaines de ces URLs avec nos différents scanners.

Le résultat des URLs ci-dessus après UDdup devrait être :

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Pourquoi en ai-je besoin ?

Principalement pour un meilleur processus de reconnaissance (automatisé), avec moins de bruit (à la fois pour le testeur et la cible).

Exemples

Jetez un œil à demo.txt qui est le fichier d'URLs brutes dont le résultat est dans demo-results.txt.

---

Installation

Avec pip (Recommandé)

pip install uddup

Manuellement (à partir du code)

# Clonez le dépôt.
git clone https://github.com/rotemreiss/uddup.git

# Installez les dépendances Python.
cd uddup
pip install -r requirements.txt

---

Utilisation

uddup -u demo.txt -o ./demo-result.txt

Plus d'options d'utilisation

uddup -h

Forme courte	Forme longue	Description
-h	--help	Afficher ce message d'aide et quitter
-u	--urls	Fichier avec une liste d'URLs
-o	--output	Sauvegarder les résultats dans un fichier
-s	--silent	Afficher seulement les URLs de résultat
-fp	--filter-path	Filtrer les chemins par une expression régulière donnée

Filtrer les chemins par expression régulière

Permet de filtrer des motifs de chemins personnalisés. Par exemple, si nous voulons filtrer tous les chemins qui commencent par /product, nous devrons exécuter :

# Expression régulière unique
uddup -u demo.txt -fp "^product"

Entrée :

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

Sortie :

https://www.example.com/
https://www.example.com/privacy-policy

Expression régulière avancée avec plusieurs filtres de chemin

uddup -u demo.txt -fp "(^product)|(^category)"

---

Contribuer

N'hésitez pas à forker le dépôt et à soumettre des pull requests.

---

Support

Ccréer un nouveau ticket GitHub

Vous voulez dire merci ? :) Contactez-moi sur Linkedin

---

Licence

• Licence MIT