Urx est un outil en ligne de commande conçu pour collecter des URL à partir d'archives OSINT, telles que la Wayback Machine et Common Crawl. Développé en Rust pour plus d'efficacité, il exploite le traitement asynchrone pour interroger rapidement de multiples sources de données. Cet outil simplifie le processus de collecte d'informations sur les URL pour un domaine donné, en fournissant un jeu de données complet pouvant servir à diverses fins, notamment les tests et l'analyse de sécurité.

Fonctionnalités

• Récupérer des URL depuis plusieurs sources en parallèle (Wayback Machine, Common Crawl, OTX, Arquivo.pt)
• Brancher n'importe quel autre serveur d'index CDX — archives web nationales, pywb privé, OutbackCDX — avec --cdx-endpoint URL, sans modification de code
• Sans clé par défaut : Wayback, Common Crawl, OTX, Arquivo.pt et URLScan (anonyme) fonctionnent tous sans clé API
• Fournisseur BeVigil : URL extraites d'applications Android décompressées — des endpoints qu'aucune archive web n'a jamais explorés
• Prise en charge de la rotation des clés API pour les fournisseurs VirusTotal et URLScan afin d'atténuer les limites de débit
• Tests authentifiés : -H, --cookie et --user-agent s'appliquent à chaque requête qu'urx envoie à la cible (--check-status, --extract-links, --extract-js-endpoints, --expand-specs) et ne sont délibérément jamais envoyés à une archive
• Filtrer les résultats par extensions de fichiers, motifs de sous-chaînes ou expressions régulières complètes (--match-regex / --filter-regex)
• Préréglages prédéfinis, à la fois par famille de fichiers (« no-images », « only-js ») et par intérêt de sécurité (« only-secrets », « only-backup », « only-config », « only-api »)
• Filtrage côté archive : pousser le code de statut, le type MIME et la plage de dates directement dans la requête CDX elle-même, afin que les captures filtrées ne traversent jamais le réseau
• Filtrage des métadonnées côté client (--meta-*) : filtrer sur la date de première/dernière capture, le type MIME enregistré et le statut enregistré, uniformément sur tous les fournisseurs, après collecte
• Cibles limitées à un chemin : urx example.com/shop pousse la portée directement dans la requête CDX (url=example.com/shop*), de sorte qu'un sous-arbre d'un grand site coûte une fraction de l'index entier au lieu d'être filtré côté client
• Fichiers de portée bug-bounty (--scope-file) : la propre liste *.example.com / !admin.example.com d'un programme utilisée telle quelle, répétable et unie, les exclusions l'emportant toujours
• Normalisation et déduplication des URL : trier les paramètres de requête, supprimer les barres obliques finales, fusionner les URL sémantiquement identiques et regrouper les quasi-doublons qui ne diffèrent que par des identifiants, des hachages ou des dates (--dedup-similar)
• Prise en charge de plusieurs formats de sortie : texte brut, JSON, JSON Lines, CSV et wordlist — les segments de chemin et les noms de paramètres à partir desquels la cible est construite, en omettant les identifiants, les hachages et les dates
• Vues paramètres et fuzz : --params (l'inventaire complet des paramètres de la cible), --params-by-endpoint (quel endpoint accepte quoi) et --fuzz-placeholder FUZZ (une URL modélisée par signature de paramètre, prête pour ffuf ou dalfox)
• Métadonnées de capture d'archive : first_seen, last_seen, mime, archive_status et digest sont renvoyés avec chaque URL signalée par une archive CDX, sans coût réseau supplémentaire
• Sortie en flux (--stream) : les URL sont écrites au fur et à mesure que chaque fournisseur les signale, de sorte qu'un pipeline commence à fonctionner immédiatement au lieu d'attendre l'archive la plus lente
• Prise en charge de l'entrée directe de fichiers : lire les URL directement depuis des fichiers WARC, des fichiers compressés URLTeam et des fichiers texte
• Sortir les résultats vers la console ou un fichier, ou diffuser via stdin pour l'intégration dans un pipeline
• Test d'URL :
  • Filtrer et valider les URL en fonction des codes de statut HTTP et des motifs.
  • Extraire des liens supplémentaires à partir des URL collectées — ancres, scripts, feuilles de style, actions de formulaires, iframes, images, sources multimédias, objets, intégrations et cibles meta-refresh
  • Explorer les corps de réponse archivés des URL collectées (--archive-body), afin que les pages qui n'existent plus livrent encore les liens qu'elles contenaient — une requête par corps distinct, grâce à la déduplication par digest CDX
  • Avec --extract-js-endpoints, explorer aussi le JavaScript archivé : un bundle nommé par un hachage de build renvoie un 404 dès que le site est redéployé, et l'archive est le seul endroit où sa surface d'API existe encore
  • Conserver les corps rejoués (--archive-body-dir) comme corpus à fouiller pour ce qu'aucun extracteur de liens ne recherche — commentaires de développeurs, identifiants en ligne, noms d'hôtes internes — sans requêtes supplémentaires
  • Développer les spécifications d'API (--expand-specs) : documents OpenAPI 3.x, Swagger 2.0 et introspection GraphQL, JSON ou YAML, transformés en chaque route qu'ils décrivent — une requête achète toute la surface documentée
  • Métadonnées de réponse : --check-status enregistre aussi Location, Content-Length et Content-Type, et --check-title ajoute le <title> HTML
• Découverte de robots.txt et sitemap.xml archivés (--archived-discovery) : chaque version distincte conservée par la Wayback Machine, de sorte qu'un Disallow: de 2015 nomme encore les chemins que le site a cessé de mentionner depuis
• Mise en cache et analyse incrémentale :
  • Mise en cache locale SQLite ou distante Redis pour éviter de rescanner les domaines
  • Mode incrémental pour ne découvrir que les nouvelles URL depuis la dernière analyse
  • TTL de cache configurable et nettoyage automatique des entrées expirées
  • Sous-commande urx cache pour inspecter et maintenir le cache : stats, list, prune, drop <domain>, clear

Installation

Depuis Cargo```bash

https://crates.io/crates/urx

cargo install urx

### Depuis Homebrew```bash
# https://formulae.brew.sh/formula/urx
brew install urx

Depuis la source```bash

git clone https://github.com/hahwul/urx.git cd urx cargo build --release

Le binaire compilé sera disponible à l'emplacement `target/release/urx`.

### Depuis Docker

[ghcr.io/hahwul/urx](https://github.com/hahwul/urx/pkgs/container/urx)