projectdiscovery/urlfinderUn outil à haute vitesse pour collecter passivement des URL, optimisé pour une découverte efficace et complète des actifs web sans analyse active.
Outil haute vitesse pour collecter passivement des URLs, optimisé pour une découverte efficace d'actifs web sans scan actif.
Fonctionnalités • Installation • Utilisation • Exemples • Rejoindre Discord
URLFinder est un outil haute vitesse de découverte passive d'URL conçu pour simplifier et accélérer la découverte d'actifs web, idéal pour les testeurs d'intrusion, les chercheurs en sécurité et les développeurs cherchant à collecter des URLs sans scan actif.
URLFinder nécessite Go 1.21. Installez-le avec la commande suivante ou téléchargez un binaire précompilé depuis la page des versions.
go install -v github.com/projectdiscovery/urlfinder/cmd/urlfinder@latest
urlfinder -h
Cette commande affiche l'aide pour URLFinder. Voici quelques options et commutateurs courants.
A streamlined tool for discovering associated URLs.
Usage:
./urlfinder [flags]
Flags:
INPUT:
-d, -list string[] target domain or list of domains
SOURCE:
-s, -sources string[] specific sources for discovery (e.g., -s alienvault,commoncrawl)
-es, -exclude-sources string[] sources to exclude (e.g., -es alienvault,commoncrawl)
-all use all sources (may be slower)
SCOPE:
-us, -url-scope string[] in scope url regex to be followed by urlfinder
-uos, -url-out-scope string[] out of scope url regex to be excluded by urlfinder
-fs, -field-scope string pre-defined scope field (dn,rdn,fqdn) or custom regex (e.g., '(company-staging.io|company.com)') (default "rdn")
-ns, -no-scope disables host based default scope
-do, -display-out-scope display external endpoint from scoped crawling
FILTER:
-m, -match string[] URLs or list to match (file or comma-separated)
-f, -filter string[] URLs or list to filter (file or comma-separated)
RATE-LIMIT:
-rl, -rate-limit int max HTTP requests per second (global)
-rls, -rate-limits value per-provider HTTP request limits (e.g., -rls waybackarchive=15/m)
UPDATE:
-up, -update update URLFinder to the latest version
-duc, -disable-update-check disable automatic update checks
OUTPUT:
-o, -output string specify output file
-j, -jsonl JSONL output format
-od, -output-dir string specify output directory
-cs, -collect-sources include all sources in JSON output
CONFIGURATION:
-config string config file (default "$CONFIG/urlfinder/config.yaml")
-pc, -provider-config string provider config file (default "$CONFIG/urlfinder/provider-config.yaml")
-proxy string HTTP proxy
DEBUG:
-silent show only URLs in output
-version display URLFinder version
-v verbose output
-nc, -no-color disable colored output
-ls, -list-sources list all available sources
-stats display source statistics
OPTIMIZATION:
-timeout int timeout in seconds (default 30)
-max-time int max time in minutes for enumeration (default 10)
urlfinder -d tesla.com
Cette commande énumère les URLs pour le domaine cible tesla.com.
Exemple d'exécution :
$ urlfinder -d tesla.com
__ _____ __ _____ __
/ / / / _ \/ / / __(_)__ ___/ /__ ____
/ /_/ / , _/ /__/ _// / _ \/ _ / -_) __/
\____/_/|_/____/_/ /_/_//_/\_,_/\__/_/
projectdiscovery.io
[INF] Current urlfinder version v0.0.1 (latest)
[INF] Enumerating urls for tesla.com
https://www.tesla.com/akam/13/7e68a6e8
https://www.tesla.com/akam/13/pixel_4e07b670
https://www.tesla.com/da_dk/en/node/30788?redirect=no
https://www.tesla.com/de_at/findus/location/charger/dc6290
https://www.tesla.com/akam/13/7ade0a44
https://www.tesla.com/cs_cz/referral/teslaapp23713?redirect=no
https://www.tesla.com/da_dk/findus/location/charger/dc253
https://www.tesla.com/akam/13/pixel_76102729
https://www.tesla.com/da_dk/blog/modules//system/system.messages.js
...
[INF] Found 202435 urls for tesla.com in 2 minutes 37 seconds
Utilisez les options -m (correspondance) et -f (filtre) pour affiner les résultats selon les motifs d'URL.
Inclure les URLs correspondant à des motifs spécifiques
Pour inclure uniquement les URLs contenant « shop » ou « model » :
urlfinder -d tesla.com -m shop,model
Exclure les URLs correspondant à des motifs spécifiques
Pour exclure les URLs contenant « privacy » ou « terms » :
urlfinder -d tesla.com -f privacy,terms
Combinaison de correspondance et de filtre
Pour trouver les URLs contenant « support » mais exclure celles avec « faq » :
urlfinder -d tesla.com -m support -f faq
Fournissez les motifs dans des fichiers :
urlfinder -d tesla.com -m include-patterns.txt -f exclude-patterns.txt
Utilisez l'option -j ou --jsonl pour produire les résultats au format JSONL (JSON Lines), où chaque ligne est un objet JSON distinct. Ce format est utile pour traiter de grandes sorties de manière structurée.
urlfinder -d tesla.com -j
{"url":"https://shop.tesla.com/product/model-s-plaid","input":"tesla.com","source":"waybackarchive"}
{"url":"https://www.tesla.com/inventory/used/ms","input":"tesla.com","source":"waybackarchive"}
{"url":"https://forums.tesla.com/discussion/101112/model-3-updates","input":"tesla.com","source":"waybackarchive"}
Chaque objet JSON contient :
url : L'URL découverte.input : Le domaine cible (par ex. tesla.com).source : La source de données pour la découverte d'URL (par ex. waybackarchive).