UDdup - URL-Deduplizierungstool

Das Tool erhält eine Liste von URLs und entfernt „doppelte“ Seiten im Sinne von URL-Mustern, die wahrscheinlich wiederholt auftreten und auf dieselbe Webvorlage verweisen.

Zum Beispiel:

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Alle oben genannten verweisen wahrscheinlich auf dieselbe Produkt-„Vorlage“. Daher sollte es ausreichen, nur einige dieser URLs mit unseren verschiedenen Scannern zu überprüfen.

Das Ergebnis der obigen nach UDdup sollte sein:

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Warum brauche ich es?

Hauptsächlich für einen besseren (automatisierten) Erkundungsprozess mit weniger Rauschen (sowohl für den Tester als auch für das Ziel).

Beispiele

Werfen Sie einen Blick auf demo.txt, die Roh-URLs-Datei, die in demo-results.txt resultiert.

Installation

Mit pip (empfohlen)

pip install uddup

Manuell (aus Code)

# Klone das Repository.
git clone https://github.com/rotemreiss/uddup.git

# Installiere die Python-Anforderungen.
cd uddup
pip install -r requirements.txt

Verwendung

uddup -u demo.txt -o ./demo-result.txt

Weitere Nutzungsoptionen

uddup -h

Pfade nach Regex filtern

Ermöglicht das Filtern benutzerdefinierter Pfadmuster. Zum Beispiel, wenn wir alle Pfade filtern möchten, die mit /product beginnen, müssen wir Folgendes ausführen:

# Einzelner Regex
uddup -u demo.txt -fp "^product"

Eingabe:

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

Ausgabe:

https://www.example.com/
https://www.example.com/privacy-policy

Erweiterter Regex mit mehreren Pfadfiltern

uddup -u demo.txt -fp "(^product)|(^category)"

Mitwirken

Sie können das Repository gerne forken und Pull-Requests einreichen.

Unterstützung

Neues GitHub-Issue erstellen

Möchten Sie sich bedanken? :) Schreiben Sie mir auf Linkedin

Lizenz

• MIT-Lizenz