UDdup - Herramienta de Deduplicación de URLs

La herramienta obtiene una lista de URLs y elimina páginas "duplicadas" en el sentido de patrones de URL que probablemente sean repetitivos y apunten a la misma plantilla web.

Por ejemplo:

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Todas las anteriores probablemente apuntan a la misma "plantilla" de producto. Por lo tanto, debería ser suficiente escanear solo algunas de estas URLs con nuestros diversos escáneres.

El resultado de lo anterior después de UDdup debería ser:

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

¿Por qué lo necesito?

Principalmente para un mejor proceso de reconocimiento (automatizado), con menos ruido (tanto para el evaluador como para el objetivo).

Ejemplos

Eche un vistazo a demo.txt, que es el archivo de URLs sin procesar que da como resultado demo-results.txt.

Instalación

Con pip (Recomendado)

pip install uddup

Manual (desde el código)

# Clonar el repositorio.
git clone https://github.com/rotemreiss/uddup.git

# Instalar los requisitos de Python.
cd uddup
pip install -r requirements.txt

Uso

uddup -u demo.txt -o ./demo-result.txt

Más Opciones de Uso

uddup -h

Filtrar Rutas mediante Expresión Regular

Permite filtrar patrones de rutas personalizados. Por ejemplo, si queremos filtrar todas las rutas que comienzan con /product, necesitaremos ejecutar:

# Expresión regular única
uddup -u demo.txt -fp "^product"

Entrada:

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

Salida:

https://www.example.com/
https://www.example.com/privacy-policy

Expresión Regular Avanzada con múltiples filtros de ruta

uddup -u demo.txt -fp "(^product)|(^category)"

Contribuir

Siéntase libre de bifurcar el repositorio y enviar solicitudes de extracción.

Soporte

Crear un nuevo issue en GitHub

¿Quieres agradecer? :) Envíame un mensaje en Linkedin

Licencia

• Licencia MIT