UDdup - Strumento di deduplicazione degli URL

Lo strumento riceve un elenco di URL e rimuove le pagine "duplicate" nel senso di pattern URL probabilmente ripetitivi che puntano allo stesso template web.

Ad esempio:

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Tutti gli URL sopra probabilmente puntano allo stesso "template" di prodotto. Quindi dovrebbe essere sufficiente scansionare solo alcuni di questi URL con i nostri vari scanner.

Il risultato di quanto sopra dopo UDdup dovrebbe essere:

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Perché ne ho bisogno?

Principalmente per un migliore processo di ricognizione (automatizzato), con meno rumore (sia per il tester che per il target).

Esempi

Dai un'occhiata a demo.txt, il file grezzo di URL che produce demo-results.txt.

Installazione

Con pip (Consigliato)

pip install uddup

Manuale (dal codice)

# Clone the repository.
git clone https://github.com/rotemreiss/uddup.git

# Install the Python requirements.
cd uddup
pip install -r requirements.txt

Utilizzo

uddup -u demo.txt -o ./demo-result.txt

Altre opzioni di utilizzo

uddup -h

Filtra percorsi con espressione regolare

Permette di filtrare pattern di percorsi personalizzati. Ad esempio, se volessimo filtrare tutti i percorsi che iniziano con /product, eseguiremmo:

# Single Regex
uddup -u demo.txt -fp "^product"

Input:

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

Output:

https://www.example.com/
https://www.example.com/privacy-policy

Espressioni regolari avanzate con più filtri di percorso

uddup -u demo.txt -fp "(^product)|(^category)"

Contribuire

Sentiti libero di fare il fork del repository e inviare pull request.

Supporto

Create new GitHub issue

Vuoi ringraziare? :) Mandami un messaggio su Linkedin

Licenza

• MIT license