Urxは、Wayback MachineやCommon CrawlなどのOSINTアーカイブからURLを収集するために設計されたコマンドラインツールです。効率性を重視してRustで構築されており、非同期処理を活用して複数のデータソースを迅速にクエリします。このツールは、指定されたドメインのURL情報を収集するプロセスを簡素化し、セキュリティテストや分析など様々な目的に使用できる包括的なデータセットを提供します。

機能

• 複数のソースから並列でURLを取得（Wayback Machine、Common Crawl、OTX、Arquivo.pt）
• 他のあらゆるCDXインデックスサーバー（各国のウェブアーカイブ、プライベートなpywb、OutbackCDXなど）を--cdx-endpoint URLでプラグイン可能 — コード変更は不要
• デフォルトでキー不要：Wayback、Common Crawl、OTX、Arquivo.pt、URLScan（匿名）はすべてAPIキーなしで動作
• BeVigilプロバイダー：展開されたAndroidアプリから抽出されたURL — ウェブアーカイブが決してクロールしなかったエンドポイント
• VirusTotalおよびURLScanプロバイダーのAPIキーローテーション対応により、レート制限を緩和
• 認証付きテスト：-H、--cookie、--user-agentは、urxがターゲットに対して行うすべてのリクエスト（--check-status、--extract-links、--extract-js-endpoints、--expand-specs）に適用され、アーカイブには意図的に一切送信されない
• ファイル拡張子、部分文字列パターン、または完全な正規表現（--match-regex / --filter-regex）で結果をフィルタリング
• 定義済みプリセット：ファイルファミリー別（"no-images"、"only-js"）とセキュリティ上の関心別（"only-secrets"、"only-backup"、"only-config"、"only-api"）の両方
• アーカイブ側フィルタリング：ステータスコード、MIMEタイプ、日付範囲をCDXクエリ自体にプッシュするため、フィルタリングされたキャプチャがネットワークを通過することがない
• クライアント側メタデータフィルタリング（--meta-*）：収集後に、最初/最後のキャプチャ日時、記録されたMIMEタイプ、記録されたステータスをすべてのプロバイダーで統一的にフィルタリング
• パススコープ付きターゲット：urx example.com/shopはスコープをCDXクエリ自体にプッシュする（url=example.com/shop*）ため、大規模サイトのサブツリーはインデックス全体のごく一部のコストで済み、クライアント側でフィルタリングされることがない
• バグバウンティスコープファイル（--scope-file）：プログラム自身の*.example.com / !admin.example.comリストをそのまま使用し、繰り返し可能で和集合として扱われ、除外が常に優先される
• URL正規化と重複排除：クエリパラメータをソートし、末尾のスラッシュを削除し、意味的に同一のURLをマージし、id、ハッシュ、日付のみが異なるほぼ重複したURLを統合（--dedup-similar）
• 複数の出力形式をサポート：プレーンテキスト、JSON、JSON Lines、CSV、およびwordlist — ターゲットが構築されるパスセグメントとパラメータ名を、id、ハッシュ、日付を除いて出力
• パラメータとファズビュー：--params（ターゲット全体のパラメータインベントリ）、--params-by-endpoint（どのエンドポイントが何を受け取るか）、--fuzz-placeholder FUZZ（パラメータシグネチャごとに1つのテンプレート化されたURL、ffufやdalfoxですぐに使用可能）
• アーカイブキャプチャメタデータ：first_seen、last_seen、mime、archive_status、digestが、CDXアーカイブが報告したすべてのURLとともに、追加のネットワークコストなしで返される
• ストリーミング出力（--stream）：各プロバイダーがURLを報告するたびに書き出されるため、パイプラインは最も遅いアーカイブを待つことなく即座に動作を開始する
• 直接ファイル入力サポート：WARCファイル、URLTeam圧縮ファイル、テキストファイルからURLを直接読み取り
• 結果をコンソールまたはファイルに出力、あるいはパイプライン統合用にstdin経由でストリーミング
• URLテスト：
  • HTTPステータスコードとパターンに基づいてURLをフィルタリングおよび検証
  • 収集したURLから追加のリンクを抽出 — アンカー、スクリプト、スタイルシート、フォームアクション、iframe、画像、メディアソース、オブジェクト、埋め込み、メタリフレッシュターゲット
  • 収集したURLのアーカイブされたレスポンスボディをマイニング（--archive-body）するため、もはや存在しないページでも含まれていたリンクを明らかにする — CDXダイジェストの重複排除により、異なるボディごとに1リクエスト
  • --extract-js-endpointsを使用すると、アーカイブされたJavaScriptもマイニングする：ビルドハッシュで命名されたバンドルはサイトが再デプロイされた瞬間に404になるが、アーカイブはそのAPIサーフェスがまだ存在する唯一の場所である
  • リプレイされたボディを保持（--archive-body-dir）し、リンク抽出器が探さないもの — 開発者コメント、インライン化された認証情報、内部ホスト名 — をgrepするためのコーパスとして、追加リクエストなしで利用
  • API仕様を展開（--expand-specs）：OpenAPI 3.x、Swagger 2.0、GraphQLイントロスペクションドキュメント（JSONまたはYAML）を、それらが記述するすべてのルートに変換 — 1リクエストでドキュメント化されたサーフェス全体を取得
  • レスポンスメタデータ：--check-statusはLocation、Content-Length、Content-Typeも記録し、--check-titleはHTMLの<title>を追加
• アーカイブされたrobots.txtとsitemap.xmlの発見（--archived-discovery）：Wayback Machineが保持するすべての異なるバージョンにより、2015年のDisallow:が、サイトがその後言及しなくなったパスを今でも示す
• キャッシングとインクリメンタルスキャン：
  • ローカルSQLiteまたはリモートRedisキャッシングにより、ドメインの再スキャンを回避
  • インクリメンタルモードで、前回のスキャン以降の新規URLのみを発見
  • 設定可能なキャッシュTTLと期限切れエントリの自動クリーンアップ
  • urx cacheサブコマンドでキャッシュを検査および保守：stats、list、prune、drop <domain>、clear

インストール

Cargoから```bash

https://crates.io/crates/urx

cargo install urx

### Homebrew から```bash
# https://formulae.brew.sh/formula/urx
brew install urx

ソースから```bash

git clone https://github.com/hahwul/urx.git cd urx cargo build --release

コンパイル済みバイナリは `target/release/urx` にあります。

### Docker から

[ghcr.io/hahwul/urx](https://github.com/hahwul/urx/pkgs/container/urx)

### シェル補完

`urx` は自身の補完スクリプトを生成するため、実際にインストールされているバイナリのフラグと常に一致します。```bash
# zsh — any directory on your $fpath works
urx --completions zsh > ~/.zfunc/_urx
# (make sure ~/.zfunc is on the fpath, then `compinit`)

# bash
urx --completions bash > ~/.local/share/bash-completion/completions/urx

# fish
urx --completions fish > ~/.config/fish/completions/urx.fish

powershell と elvish もサポートされています。このフラグにはターゲットドメインは不要です。

マンページ```bash

urx --manpage > ~/.local/share/man/man1/urx.1 man urx

## 使用方法

### 基本的な使用方法```bash
# Scan a single domain
urx example.com

# Scan multiple domains
urx example.com example.org

# Scan domains from a file
cat domains.txt | urx

オプション```

Usage: urx [OPTIONS] [DOMAINS]... [COMMAND]

Commands: cache Inspect and maintain the URL cache: stats, list, prune, drop ..., clear

Arguments: [DOMAINS]... Domains to fetch URLs for

Options: -c, --config Config file to load --provider-config Separate provider config file holding only API keys (default: $XDG_CONFIG_HOME/urx/provider-config.toml). CLI/env > provider-config > main config. --completions Print a shell completion script (bash, zsh, fish, powershell, elvish) to stdout and exit --manpage Print the roff man page to stdout and exit -h, --help Print help -V, --version Print version

Input Options: --files ... Read URLs directly from files (supports WARC, URLTeam compressed, and text files) --domain-list File of newline-separated domains to scan (repeatable; merged with positional DOMAINS and stdin; # comments allowed)