Urx é uma ferramenta de linha de comando projetada para coletar URLs de arquivos OSINT, como a Wayback Machine e o Common Crawl. Construída com Rust para eficiência, ela aproveita o processamento assíncrono para consultar rapidamente múltiplas fontes de dados. Esta ferramenta simplifica o processo de coleta de informações de URL para um domínio especificado, fornecendo um conjunto de dados abrangente que pode ser usado para diversos fins, incluindo testes de segurança e análise.

Recursos

• Busca URLs de múltiplas fontes em paralelo (Wayback Machine, Common Crawl, OTX, Arquivo.pt)
• Conecte qualquer outro servidor de índice CDX — arquivos web nacionais, um pywb privado, OutbackCDX — com --cdx-endpoint URL, sem necessidade de alteração de código
• Sem chave por padrão: Wayback, Common Crawl, OTX, Arquivo.pt e URLScan (anônimo) funcionam sem uma chave de API
• Provedor BeVigil: URLs extraídas de aplicativos Android descompactados — endpoints que nenhum arquivo web jamais rastreou
• Suporte à rotação de chaves de API para os provedores VirusTotal e URLScan para mitigar limites de taxa
• Testes autenticados: -H, --cookie e --user-agent se aplicam a todas as requisições que o urx faz ao alvo (--check-status, --extract-links, --extract-js-endpoints, --expand-specs) e deliberadamente nunca são enviados a um arquivo
• Filtra resultados por extensões de arquivo, padrões de substring ou expressões regulares completas (--match-regex / --filter-regex)
• Presets predefinidos, tanto por família de arquivo ("no-images", "only-js") quanto por interesse de segurança ("only-secrets", "only-backup", "only-config", "only-api")
• Filtragem do lado do arquivo: envie código de status, tipo MIME e intervalo de datas para a própria consulta CDX, para que capturas filtradas nunca cruzem a rede
• Filtragem de metadados do lado do cliente (--meta-*): filtre por data da primeira/última captura, tipo MIME registrado e status registrado uniformemente em todos os provedores, após a coleta
• Alvos com escopo de caminho: urx example.com/shop envia o escopo para a própria consulta CDX (url=example.com/shop*), de modo que uma subárvore de um site grande custa uma fração do índice inteiro em vez de ser filtrada no lado do cliente
• Arquivos de escopo de bug bounty (--scope-file): a própria lista *.example.com / !admin.example.com de um programa usada literalmente, repetível e unida, com exclusões sempre prevalecendo
• Normalização e deduplicação de URLs: Ordena parâmetros de consulta, remove barras finais, mescla URLs semanticamente idênticas e colapsa quase-duplicatas que diferem apenas em ids, hashes ou datas (--dedup-similar)
• Suporte a múltiplos formatos de saída: texto simples, JSON, JSON Lines, CSV e wordlist — os segmentos de caminho e nomes de parâmetros dos quais o alvo é construído, com ids, hashes e datas deixados de fora
• Visualizações de parâmetros e fuzz: --params (o inventário completo de parâmetros do alvo), --params-by-endpoint (qual endpoint aceita o quê) e --fuzz-placeholder FUZZ (uma URL modelada por assinatura de parâmetro, pronta para ffuf ou dalfox)
• Metadados de captura do arquivo: first_seen, last_seen, mime, archive_status e digest retornam com cada URL que um arquivo CDX reportou, sem custo extra de rede
• Saída em streaming (--stream): as URLs são escritas conforme cada provedor as reporta, para que um pipeline comece a funcionar imediatamente em vez de esperar pelo arquivo mais lento
• Suporte a entrada direta de arquivos: Leia URLs diretamente de arquivos WARC, arquivos compactados URLTeam e arquivos de texto
• Saída de resultados para o console ou um arquivo, ou streaming via stdin para integração em pipeline
• Teste de URLs:
  • Filtra e valida URLs com base em códigos de status HTTP e padrões.
  • Extrai links adicionais de URLs coletadas — âncoras, scripts, folhas de estilo, ações de formulário, iframes, imagens, fontes de mídia, objetos, embeds e alvos de meta-refresh
  • Minera os corpos de resposta arquivados das URLs coletadas (--archive-body), para que páginas que não existem mais ainda revelem os links que continham — uma requisição por corpo distinto, graças à deduplicação por digest do CDX
  • Com --extract-js-endpoints, minera também o JavaScript arquivado: um bundle nomeado por hash de build retorna 404 no momento em que o site é reimplantado, e o arquivo é o único lugar onde sua superfície de API ainda existe
  • Mantenha os corpos reproduzidos (--archive-body-dir) como um corpus para grep do que nenhum extrator de links procura — comentários de desenvolvedores, credenciais embutidas, hostnames internos — sem requisições extras
  • Expande especificações de API (--expand-specs): documentos OpenAPI 3.x, Swagger 2.0 e introspecção GraphQL, JSON ou YAML, transformados em todas as rotas que descrevem — uma requisição compra toda a superfície documentada
  • Metadados de resposta: --check-status também registra Location, Content-Length e Content-Type, e --check-title adiciona o <title> do HTML
• Descoberta de robots.txt e sitemap.xml arquivados (--archived-discovery): todas as versões distintas que a Wayback Machine mantém, para que um Disallow: de 2015 ainda nomeie os caminhos que o site deixou de mencionar
• Cache e Varredura Incremental:
  • Cache local em SQLite ou remoto em Redis para evitar reescanear domínios
  • Modo incremental para descobrir apenas novas URLs desde a última varredura
  • TTL de cache configurável e limpeza automática de entradas expiradas
  • Subcomando urx cache para inspecionar e manter o cache: stats, list, prune, drop <domain>, clear

Instalação

Via Cargo```bash

https://crates.io/crates/urx

cargo install urx

### Do Homebrew```bash
# https://formulae.brew.sh/formula/urx
brew install urx

Do Código-Fonte```bash

git clone https://github.com/hahwul/urx.git cd urx cargo build --release

O binário compilado estará disponível em `target/release/urx`.

### A partir do Docker

[ghcr.io/hahwul/urx](https://github.com/hahwul/urx/pkgs/container/urx)

### Shell Completions

O `urx` gera seu próprio script de completion, então ele sempre corresponde às flags do
binário que você realmente tem instalado.```bash
# zsh — any directory on your $fpath works
urx --completions zsh > ~/.zfunc/_urx
# (make sure ~/.zfunc is on the fpath, then `compinit`)

# bash
urx --completions bash > ~/.local/share/bash-completion/completions/urx