セキュリティインサイトのためにOSINTアーカイブからURLを抽出します。
Urxは、Wayback MachineやCommon CrawlなどのOSINTアーカイブからドメインのURLを収集します。すべてのソースを並列にクエリし、その後、セキュリティ作業のために結果をフィルタリング、テスト、整形します。
--cdx-endpoint によるその他の任意のCDXサーバー(pywb、OutbackCDX、各国の国立公文書館)--from/--to、--archive-status、--archive-mime)はCDXクエリ内で実行--meta-*)urx example.com/shop)とバグバウンティのスコープファイル(--scope-file)--match-regex、--filter-regex)、プリセット(no-images、only-js、only-secrets、only-backup、only-config、only-api、only-tokens)によるフィルタ、および設定ファイルで定義する独自プリセット--normalize-url、--merge-endpoint、--dedup-similarwordlist 形式での出力。--stream はURLを到着次第書き出し--params、--params-by-endpoint、ffufやdalfox向けの --fuzz-placeholder FUZZfirst_seen、last_seen、mime、archive_status、digest--files)またはstdinからの入力--check-status、--check-title、--extract-links、--extract-js-endpoints--archive-body は既に存在しないページからリンクを抽出し、異なるボディごとに1リクエスト。--archive-body-dir はそれらを保存--expand-specs): OpenAPI 3.x、Swagger 2.0、GraphQLイントロスペクション--archived-discovery)-H、--cookie、--user-agent)。アーカイブには決して送信されません--features redis-cache ビルドが必要)、--incremental スキャン、urx cache メンテナンス、--notify Webhook
cargo install urx # https://crates.io/crates/urx
brew install urx # https://formulae.brew.sh/formula/urx
yay -S urx # AUR
choco install urx # Chocolatey (Windows)
ソースから(target/release/urx にあるバイナリ):
git clone https://github.com/hahwul/urx.git
cd urx
cargo build --release
Docker(ghcr.io/hahwul/urx)。イメージにはエントリポイントがないため、イメージ名の後に ./urx を指定します:
docker run --rm ghcr.io/hahwul/urx:latest ./urx example.com
Linux、macOS、Windows 向けのビルド済みバイナリは、それぞれ .sha256 とともに releases ページ で公開されています。
シェル補完(bash、zsh、fish、powershell、elvish)と man ページ:
urx --completions zsh > ~/.zfunc/_urx # ~/.zfunc must be on $fpath
urx --completions bash > ~/.local/share/bash-completion/completions/urx
urx --completions fish > ~/.config/fish/completions/urx.fish
urx --manpage > ~/.local/share/man/man1/urx.1
urx example.com # one domain
urx example.com example.org # several domains
cat domains.txt | urx # domains from stdin
Usage: urx [OPTIONS] [DOMAINS]... [COMMAND]
Commands:
cache Inspect and maintain the URL cache: stats, list, prune, drop <DOMAIN>..., clear
Arguments:
[DOMAINS]... Domains to fetch URLs for
Options:
-c, --config <CONFIG> Config file to load
--provider-config <PATH> Separate provider config file holding only API keys (default: ~/.config/urx/provider-config.toml; %APPDATA%\urx\ on Windows). CLI/env > provider-config > main config.
--completions <SHELL> Print a shell completion script (bash, zsh, fish, powershell, elvish) to stdout and exit
--manpage Print the roff man page to stdout and exit
-h, --help Print help
-V, --version Print version
Input Options:
--files <FILES>... Read URLs directly from files (supports WARC, URLTeam compressed, and text files)
--domain-list <PATH> File of newline-separated domains to scan (repeatable; merged with positional DOMAINS; stdin is read only when they name no domains; `#` comments allowed) [alias: --dL]
Output Options:
-o, --output <OUTPUT> Output file to write results
--output-dir <PATH> Write one file per URL host into this directory (extension matches --format). Coexists with --output / stdout. [alias: --oD]
-f, --format <FORMAT> Output format: "plain", "json" (one array), "jsonl" (one JSON object per line), "csv", "wordlist" (path segments and parameter names, deduplicated and sorted); anything else is a usage error [default: plain]
--stream Write URLs as each provider reports them instead of once at the end (unsorted; bypasses cache; rejects options needing the full result set)
--merge-endpoint Merge endpoints with the same path and merge URL parameters
--normalize-url Normalize URLs for better deduplication (sorts query parameters, removes trailing slashes)
--dedup-similar Collapse URLs that differ only in variable data (numeric ids, UUIDs, hashes, dates, query values)
--params Replace the URL list with every query parameter name the run saw, once each
--params-by-endpoint
One line per endpoint: the endpoint and the comma-separated union of the parameter names seen on it (id-looking path segments collapse to `{id}`)
--fuzz-placeholder <VALUE>
Replace every query parameter value with VALUE, keeping one URL per parameter signature — output you can feed straight to ffuf or dalfox