Urx — это инструмент командной строки, предназначенный для сбора URL-адресов из OSINT-архивов, таких как Wayback Machine и Common Crawl. Написанный на Rust для обеспечения эффективности, он использует асинхронную обработку для быстрого опроса нескольких источников данных. Этот инструмент упрощает процесс сбора информации об URL-адресах для указанного домена, предоставляя исчерпывающий набор данных, который может быть использован для различных целей, включая тестирование безопасности и анализ.

Возможности

• Параллельное получение URL-адресов из нескольких источников (Wayback Machine, Common Crawl, OTX, Arquivo.pt)
• Подключение любого другого CDX-сервера индексов — национальных веб-архивов, частного pywb, OutbackCDX — с помощью --cdx-endpoint URL, без изменения кода
• По умолчанию без ключей: Wayback, Common Crawl, OTX, Arquivo.pt и URLScan (анонимно) работают без API-ключа
• Провайдер BeVigil: URL-адреса, извлечённые из распакованных Android-приложений — эндпоинты, которые не обходил ни один веб-архив
• Поддержка ротации API-ключей для провайдеров VirusTotal и URLScan для смягчения ограничений скорости
• Аутентифицированное тестирование: -H, --cookie и --user-agent применяются к каждому запросу, который urx делает к цели (--check-status, --extract-links, --extract-js-endpoints, --expand-specs), и намеренно никогда не отправляются в архив
• Фильтрация результатов по расширениям файлов, подстрокам или полным регулярным выражениям (--match-regex / --filter-regex)
• Предопределённые пресеты, как по семейству файлов ("no-images", "only-js"), так и по интересу безопасности ("only-secrets", "only-backup", "only-config", "only-api")
• Фильтрация на стороне архива: передача кода состояния, MIME-типа и диапазона дат непосредственно в CDX-запрос, чтобы отфильтрованные захваты вообще не пересекали сеть
• Клиентская фильтрация метаданных (--meta-*): фильтрация по дате первого/последнего захвата, записанному MIME-типу и записанному статусу единообразно для каждого провайдера, после сбора
• Цели с ограничением по пути: urx example.com/shop передаёт область в сам CDX-запрос (url=example.com/shop*), поэтому поддерево большого сайта стоит лишь часть всего индекса вместо фильтрации на стороне клиента
• Файлы области bug-bounty (--scope-file): собственный список *.example.com / !admin.example.com программы, используемый дословно, повторяемый и объединяемый, при этом исключения всегда побеждают
• Нормализация и дедупликация URL-адресов: сортировка параметров запроса, удаление завершающих слешей, объединение семантически идентичных URL-адресов и схлопывание почти-дубликатов, отличающихся только идентификаторами, хешами или датами (--dedup-similar)
• Поддержка нескольких форматов вывода: обычный текст, JSON, JSON Lines, CSV и wordlist — сегменты пути и имена параметров, из которых построена цель, без идентификаторов, хешей и дат
• Представления параметров и фаззинга: --params (полный перечень параметров цели), --params-by-endpoint (какой эндпоинт принимает что) и --fuzz-placeholder FUZZ (один шаблонный URL на каждую сигнатуру параметра, готовый для ffuf или dalfox)
• Метаданные захвата архива: first_seen, last_seen, mime, archive_status и digest возвращаются с каждым URL-адресом, о котором сообщил CDX-архив, без дополнительных сетевых затрат
• Потоковый вывод (--stream): URL-адреса записываются по мере их сообщения каждым провайдером, поэтому конвейер начинает работать немедленно, вместо ожидания самого медленного архива
• Поддержка прямого ввода файлов: чтение URL-адресов непосредственно из WARC-файлов, сжатых файлов URLTeam и текстовых файлов
• Вывод результатов в консоль или файл, либо потоковая передача через stdin для интеграции в конвейер
• Тестирование URL-адресов:
  • Фильтрация и проверка URL-адресов на основе кодов состояния HTTP и шаблонов.
  • Извлечение дополнительных ссылок из собранных URL-адресов — якорей, скриптов, таблиц стилей, действий форм, iframe, изображений, медиа-источников, объектов, встраиваний и целей meta-refresh
  • Извлечение из архивных тел ответов собранных URL-адресов (--archive-body), чтобы страницы, которых больше не существует, всё ещё отдавали содержавшиеся в них ссылки — один запрос на каждое отдельное тело, благодаря дедупликации по CDX-дайджесту
  • С --extract-js-endpoints извлекайте также из архивного JavaScript: бандл, названный по хешу сборки, отдаёт 404 в момент повторного развёртывания сайта, и архив — единственное место, где его API-поверхность всё ещё существует
  • Сохраняйте воспроизведённые тела (--archive-body-dir) как корпус для поиска того, что не ищет ни один извлекатель ссылок — комментариев разработчиков, встроенных учётных данных, внутренних имён хостов — без дополнительных запросов
  • Разворачивание спецификаций API (--expand-specs): документы OpenAPI 3.x, Swagger 2.0 и GraphQL introspection, в формате JSON или YAML, превращаются в каждый описанный ими маршрут — один запрос даёт всю документированную поверхность
  • Метаданные ответа: --check-status также записывает Location, Content-Length и Content-Type, а --check-title добавляет HTML <title>
• Обнаружение архивных robots.txt и sitemap.xml (--archived-discovery): каждая отдельная версия, которую хранит Wayback Machine, поэтому Disallow: от 2015 года всё ещё называет пути, о которых сайт с тех пор перестал упоминать
• Кэширование и инкрементальное сканирование:
  • Локальное кэширование в SQLite или удалённое в Redis для избежания повторного сканирования доменов
  • Инкрементальный режим для обнаружения только новых URL-адресов с момента последнего сканирования
  • Настраиваемый TTL кэша и автоматическая очистка устаревших записей
  • Подкоманда urx cache для просмотра и обслуживания кэша: stats, list, prune, drop <domain>, clear

Установка

Из Cargo```bash

https://crates.io/crates/urx

cargo install urx

### Из Homebrew```bash
# https://formulae.brew.sh/formula/urx
brew install urx

Из исходного кода```bash

git clone https://github.com/hahwul/urx.git cd urx cargo build --release

Скомпилированный бинарный файл будет доступен по пути `target/release/urx`.

### Из Docker

[ghcr.io/hahwul/urx](https://github.com/hahwul/urx/pkgs/container/urx)

### Автодополнение для оболочки