UDdup - Инструмент для дедупликации URL

Инструмент получает список URL и удаляет «дублирующиеся» страницы в том смысле, что шаблоны URL, вероятно, повторяются и указывают на один и тот же веб-шаблон.

Например:

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Все вышеперечисленные, вероятно, указывают на один и тот же «шаблон» продукта. Поэтому достаточно просканировать лишь некоторые из этих URL с помощью наших различных сканеров.

Результат вышеуказанного после UDdup должен быть:

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Зачем это нужно?

В основном для улучшения (автоматизированного) процесса разведки с меньшим количеством шума (как для тестировщика, так и для цели).

Примеры

Посмотрите на demo.txt — это файл с исходными URL, результатом обработки которого является demo-results.txt.

Установка

С помощью pip (рекомендуется)

pip install uddup

Вручную (из кода)

# Clone the repository.
git clone https://github.com/rotemreiss/uddup.git

# Install the Python requirements.
cd uddup
pip install -r requirements.txt

Использование

uddup -u demo.txt -o ./demo-result.txt

Дополнительные параметры использования

uddup -h

Фильтрация путей по регулярному выражению

Позволяет фильтровать пользовательские шаблоны путей. Например, если мы хотим отфильтровать все пути, начинающиеся с /product, нам нужно запустить:

# Single Regex
uddup -u demo.txt -fp "^product"

Входные данные:

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

Результат:

https://www.example.com/
https://www.example.com/privacy-policy

Расширенное регулярное выражение с несколькими фильтрами путей

uddup -u demo.txt -fp "(^product)|(^category)"

Вклад в проект

Не стесняйтесь форкать репозиторий и отправлять pull-запросы.

Поддержка

Создать новый issue на GitHub

Хотите сказать спасибо? :) Напишите мне в Linkedin

Лицензия

• MIT license