uro

Использование списка URL для тестирования безопасности может быть утомительным, так как множество URL содержат неинтересный/дублирующийся контент; uro призван решить эту проблему.

Он не делает никаких HTTP-запросов к URL и удаляет:

• инкрементальные URL, например /page/1/ и /page/2/
• записи блогов и аналогичный контент, написанный человеком, например /posts/a-brief-history-of-time
• URL с одинаковым путём, но разными значениями параметров, например /page.php?id=1 и /page.php?id=2
• изображения, js, css и другие «бесполезные» файлы

Установка

Рекомендуемый способ установки uro:

pipx install uro

Примечание: Если вы используете старую версию Python, используйте pip вместо pipx

Базовое использование

Самый быстрый способ включить uro в свой рабочий процесс — передать ему данные через stdin и вывести их в терминал.

cat urls.txt | uro

Продвинутое использование

Чтение URL из файла (-i/--input)

uro -i input.txt

Запись URL в файл (-o/--output)

Если файл уже существует, uro не будет перезаписывать его содержимое. В противном случае будет создан новый файл.

uro -i input.txt -o output.txt

Белый список (-w/--whitelist)

uro будет игнорировать все расширения, кроме указанных.

uro -w php asp html

Примечание: Страницы без расширения, например /books/1, всё равно будут включены. Чтобы удалить и их, используйте --filter hasext.

Чёрный список (-b/--blacklist)

uro будет игнорировать указанные расширения.

uro -b jpg png js pdf

Примечание: uro имеет список «бесполезных» расширений, которые удаляются по умолчанию; этот список будет переопределён любыми расширениями, которые вы укажете через опцию blacklist. Страницы без расширения, например /books/1, всё равно будут включены. Чтобы удалить и их, используйте --filter hasext.

Фильтры (-f/--filters)

Для детального контроля uro поддерживает следующие фильтры:

1. hasparams: выводить только URL с параметрами запроса, например http://example.com/page.php?id=
2. noparams: выводить только URL без параметров запроса, например http://example.com/page.php
3. hasext: выводить только URL с расширениями, например http://example.com/page.php
4. noext: выводить только URL без расширений, например http://example.com/page
5. allexts: не удалять страницы на основе расширения, например сохранять .jpg, который в противном случае был бы удалён
6. keepcontent: сохранять контент, написанный человеком, например блоги.
7. keepslash: не удалять завершающий слеш из URL, например http://example.com/page/
8. vuln: выводить только URL с параметрами, которые, как известно, уязвимы. Подробнее.

Пример: uro --filters hasexts hasparams