Urx è uno strumento da riga di comando progettato per raccogliere URL dagli archivi OSINT, come la Wayback Machine e Common Crawl. Realizzato in Rust per garantire efficienza, sfrutta l'elaborazione asincrona per interrogare rapidamente più fonti di dati. Questo strumento semplifica il processo di raccolta di informazioni sugli URL per un dominio specificato, fornendo un set di dati completo che può essere utilizzato per vari scopi, tra cui test e analisi di sicurezza.

Funzionalità

• Recupera URL da più fonti in parallelo (Wayback Machine, Common Crawl, OTX, Arquivo.pt)
• Collega qualsiasi altro server di indice CDX — archivi web nazionali, un pywb privato, OutbackCDX — con --cdx-endpoint URL, senza bisogno di modifiche al codice
• Senza chiave per impostazione predefinita: Wayback, Common Crawl, OTX, Arquivo.pt e URLScan (anonimo) funzionano tutti senza una chiave API
• Provider BeVigil: URL estratti da app Android decompilate — endpoint che nessun archivio web ha mai scansionato
• Supporto alla rotazione delle chiavi API per i provider VirusTotal e URLScan per mitigare i limiti di frequenza
• Test autenticati: -H, --cookie e --user-agent si applicano a ogni richiesta che urx effettua verso il target (--check-status, --extract-links, --extract-js-endpoints, --expand-specs) e non vengono mai deliberatamente inviati a un archivio
• Filtra i risultati per estensioni di file, pattern di sottostringhe o espressioni regolari complete (--match-regex / --filter-regex)
• Preset predefiniti, sia per famiglia di file ("no-images", "only-js") che per interesse di sicurezza ("only-secrets", "only-backup", "only-config", "only-api")
• Filtraggio lato archivio: inserisci codice di stato, tipo MIME e intervallo di date direttamente nella query CDX, così le catture filtrate non attraversano mai la rete
• Filtraggio dei metadati lato client (--meta-*): filtra per data di prima/ultima cattura, tipo MIME registrato e stato registrato in modo uniforme su ogni provider, dopo la raccolta
• Target con ambito di percorso: urx example.com/shop inserisce l'ambito direttamente nella query CDX (url=example.com/shop*), così un sottoalbero di un sito di grandi dimensioni costa una frazione dell'intero indice invece di essere filtrato lato client
• File di ambito per bug bounty (--scope-file): la lista *.example.com / !admin.example.com di un programma usata così com'è, ripetibile e unita, con le esclusioni che vincono sempre
• Normalizzazione e deduplicazione degli URL: ordina i parametri di query, rimuovi le barre finali, unisci URL semanticamente identici e raggruppa i quasi-duplicati che differiscono solo per id, hash o date (--dedup-similar)
• Supporto per più formati di output: testo semplice, JSON, JSON Lines, CSV e wordlist — i segmenti di percorso e i nomi dei parametri da cui è costruito il target, con id, hash e date esclusi
• Viste parametri e fuzz: --params (l'inventario completo dei parametri del target), --params-by-endpoint (quale endpoint accetta cosa) e --fuzz-placeholder FUZZ (un URL templato per ogni firma di parametro, pronto per ffuf o dalfox)
• Metadati di cattura dell'archivio: first_seen, last_seen, mime, archive_status e digest vengono restituiti con ogni URL segnalato da un archivio CDX, senza costi di rete aggiuntivi
• Output in streaming (--stream): gli URL vengono scritti man mano che ciascun provider li segnala, così una pipeline inizia a funzionare immediatamente invece di attendere l'archivio più lento
• Supporto all'input diretto da file: leggi URL direttamente da file WARC, file compressi URLTeam e file di testo
• Output dei risultati sulla console o su file, oppure in streaming via stdin per l'integrazione nelle pipeline
• Test degli URL:
  • Filtra e valida gli URL in base ai codici di stato HTTP e ai pattern.
  • Estrai link aggiuntivi dagli URL raccolti — anchor, script, fogli di stile, azioni dei form, iframe, immagini, sorgenti multimediali, oggetti, embed e target di meta-refresh
  • Analizza i corpi delle risposte archiviate degli URL raccolti (--archive-body), così le pagine che non esistono più rivelano comunque i link che contenevano — una richiesta per ogni corpo distinto, grazie alla deduplicazione tramite digest CDX
  • Con --extract-js-endpoints, analizza anche il JavaScript archiviato: un bundle denominato con l'hash di build restituisce 404 nel momento in cui il sito viene ridistribuito, e l'archivio è l'unico posto dove la sua superficie API esiste ancora
  • Conserva i corpi riprodotti (--archive-body-dir) come corpus da cercare per ciò che nessun estrattore di link cerca — commenti degli sviluppatori, credenziali inline, hostname interni — senza richieste aggiuntive
  • Espandi le specifiche API (--expand-specs): documenti OpenAPI 3.x, Swagger 2.0 e introspezione GraphQL, in JSON o YAML, trasformati in ogni route che descrivono — una richiesta acquista l'intera superficie documentata
  • Metadati della risposta: --check-status registra anche Location, Content-Length e Content-Type, e --check-title aggiunge il <title> HTML
• Scoperta di robots.txt e sitemap.xml archiviati (--archived-discovery): ogni versione distinta conservata dalla Wayback Machine, così un Disallow: del 2015 nomina ancora i percorsi che il sito ha smesso di menzionare
• Caching e scansione incrementale:
  • Caching locale SQLite o remoto Redis per evitare di riscansionare i domini
  • Modalità incrementale per scoprire solo i nuovi URL dall'ultima scansione
  • TTL della cache configurabile e pulizia automatica delle voci scadute
  • Sottocomando urx cache per ispezionare e mantenere la cache: stats, list, prune, drop <domain>, clear

Installazione

Da Cargo```bash

https://crates.io/crates/urx

cargo install urx

### Da Homebrew```bash
# https://formulae.brew.sh/formula/urx
brew install urx

Dal codice sorgente```bash

git clone https://github.com/hahwul/urx.git cd urx cargo build --release

Il binario compilato sarà disponibile in `target/release/urx`.

### Da Docker

[ghcr.io/hahwul/urx](https://github.com/hahwul/urx/pkgs/container/urx)

### Completamenti Shell

`urx` genera il proprio script di completamento, quindi corrisponde sempre ai flag
del binario effettivamente installato.```bash
# zsh — any directory on your $fpath works
urx --completions zsh > ~/.zfunc/_urx
# (make sure ~/.zfunc is on the fpath, then `compinit`)

# bash
urx --completions bash > ~/.local/share/bash-completion/completions/urx