Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
Инструменты/GitHubGitHub/rotemreiss/uddup
РазведкаСбор информацииВеб-безопасностьУтилиты и фреймворки
GitHubrotemreiss/uddup

uddup

Инструмент дедупликации URL-адресов для улучшенной разведки.

Репозиторий
14520395 лет назадПроверено Kitploit
Поделиться

UDdup - Инструмент для дедупликации URL

Инструмент получает список URL и удаляет «дублирующиеся» страницы в том смысле, что шаблоны URL, вероятно, повторяются и указывают на один и тот же веб-шаблон.

Например:

https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Все вышеперечисленные, вероятно, указывают на один и тот же «шаблон» продукта. Поэтому достаточно просканировать лишь некоторые из этих URL с помощью наших различных сканеров.

Результат вышеуказанного после UDdup должен быть:

https://www.example.com/product/123?is_prod=false
https://www.example.com/product/222?is_debug=true

Зачем это нужно?

В основном для улучшения (автоматизированного) процесса разведки с меньшим количеством шума (как для тестировщика, так и для цели).

Примеры

Посмотрите на demo.txt — это файл с исходными URL, результатом обработки которого является demo-results.txt.


Установка

С помощью pip (рекомендуется)

pip install uddup

Вручную (из кода)

# Clone the repository.
git clone https://github.com/rotemreiss/uddup.git

# Install the Python requirements.
cd uddup
pip install -r requirements.txt

Использование

uddup -u demo.txt -o ./demo-result.txt

Дополнительные параметры использования

uddup -h

Краткая формаДлинная формаОписание
-h--helpПоказать это справочное сообщение и выйти
-u--urlsФайл со списком URL
-o--outputСохранить результаты в файл
-s--silentВыводить только результирующие URL
-fp--filter-pathФильтровать пути по заданному регулярному выражению

Фильтрация путей по регулярному выражению

Позволяет фильтровать пользовательские шаблоны путей. Например, если мы хотим отфильтровать все пути, начинающиеся с /product, нам нужно запустить:

# Single Regex
uddup -u demo.txt -fp "^product"

Входные данные:

https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2
https://www.example3.com/product/4

Результат:

https://www.example.com/
https://www.example.com/privacy-policy

Расширенное регулярное выражение с несколькими фильтрами путей

uddup -u demo.txt -fp "(^product)|(^category)"

Вклад в проект

Не стесняйтесь форкать репозиторий и отправлять pull-запросы.


Поддержка

Создать новый issue на GitHub

Хотите сказать спасибо? :) Напишите мне в Linkedin


Лицензия

License

  • MIT license
Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Полный набор инструментов OSINT: граф расследования, оценка достоверности, семейства псевдонимов, карта, временная шкала и отчёты. 49 модулей, более 400 сайтов, API-ключи не требуются.

    806
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Приложение GhostLock с запуском в один клик (CVE-2026-43499)

    523
  • 3

    ARTEX

    baarai/artex

    Платформа автономного тестирования на проникновение на основе мультиагентной LLM с агентами-планировщиками и агентами-исполнителями, графами активов и исследования, записью MITM-трафика и повторной проверкой уязвимостей.

    441
  • 4

    redforge

    cybersecurity91/redforge

    Браузерный инструментарий для red team с 102 офлайн-инструментами для разведки, генерации полезной нагрузки, атак на учётные данные, криптографии, кодирования и отчётности по проектам.

    346
  • 5

    looking-glass

    anonghosty/looking-glass

    Платформа CSIRT, которая загружает отчёты Shadowserver в MongoDB и воспроизводит их в виде интерактивных карт, аналитики, результатов, рекомендаций и исполнительных дашбордов.

    270
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Система действий для кибербезопасности на базе ИИ — где намерение превращается в управляемое исполнение, доказательства становятся оперативной памятью, а каждая операция улучшает следующую.

    264

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →