URLFinder

Uno strumento ad alta velocità per la raccolta passiva di URL, ottimizzato per un'efficiente scoperta di asset web senza scansione attiva.

Caratteristiche • Installazione • Utilizzo • Esempi • Unisciti a Discord

Panoramica

URLFinder è uno strumento di scoperta URL passivo e ad alta velocità, progettato per semplificare e accelerare la scoperta di asset web, ideale per penetration tester, ricercatori di sicurezza e sviluppatori che desiderano raccogliere URL senza scansione attiva.

Caratteristiche

• Fonti passive curate per massimizzare una scoperta URL completa
• Supporta più formati di output (JSON, file, stdout)
• Ottimizzato per la velocità e l'efficienza delle risorse
• Supporto STDIN/OUT per una facile integrazione nei flussi di lavoro esistenti

Installazione

URLFinder richiede Go 1.21. Installalo usando il seguente comando oppure scarica un binario precompilato dalla pagina delle release.

go install -v github.com/projectdiscovery/urlfinder/cmd/urlfinder@latest

Utilizzo

urlfinder -h

Questo comando mostra l'aiuto per URLFinder. Di seguito sono riportati alcuni comuni flag e opzioni.

A streamlined tool for discovering associated URLs.

Usage:
  ./urlfinder [flags]

Flags:
INPUT:
   -d, -list string[]  target domain or list of domains

SOURCE:
   -s, -sources string[]           specific sources for discovery (e.g., -s alienvault,commoncrawl)
   -es, -exclude-sources string[]   sources to exclude (e.g., -es alienvault,commoncrawl)
   -all                             use all sources (may be slower)
SCOPE:
   -us, -url-scope string[]       in scope url regex to be followed by urlfinder
   -uos, -url-out-scope string[]  out of scope url regex to be excluded by urlfinder
   -fs, -field-scope string       pre-defined scope field (dn,rdn,fqdn) or custom regex (e.g., '(company-staging.io|company.com)') (default "rdn")
   -ns, -no-scope                 disables host based default scope
   -do, -display-out-scope        display external endpoint from scoped crawling

FILTER:
   -m, -match string[]       URLs or list to match (file or comma-separated)
   -f, -filter string[]      URLs or list to filter (file or comma-separated)

RATE-LIMIT:
   -rl, -rate-limit int      max HTTP requests per second (global)
   -rls, -rate-limits value  per-provider HTTP request limits (e.g., -rls waybackarchive=15/m)

UPDATE:
   -up, -update              update URLFinder to the latest version
   -duc, -disable-update-check  disable automatic update checks

OUTPUT:
   -o, -output string       specify output file
   -j, -jsonl               JSONL output format
   -od, -output-dir string  specify output directory
   -cs, -collect-sources    include all sources in JSON output

CONFIGURATION:
   -config string           config file (default "$CONFIG/urlfinder/config.yaml")
   -pc, -provider-config string  provider config file (default "$CONFIG/urlfinder/provider-config.yaml")
   -proxy string            HTTP proxy

DEBUG:
   -silent                  show only URLs in output
   -version                 display URLFinder version
   -v                       verbose output
   -nc, -no-color           disable colored output
   -ls, -list-sources       list all available sources
   -stats                   display source statistics

OPTIMIZATION:
   -timeout int   timeout in seconds (default 30)
   -max-time int  max time in minutes for enumeration (default 10)

Esempi

Utilizzo di base

urlfinder -d tesla.com

Questo comando enumera gli URL per il dominio di destinazione tesla.com.

Esempio di esecuzione:

$ urlfinder -d tesla.com

  __  _____  __   _____         __       
 / / / / _ \/ /  / __(_)__  ___/ /__ ____
/ /_/ / , _/ /__/ _// / _ \/ _  / -_) __/
\____/_/|_/____/_/ /_/_//_/\_,_/\__/_/    										

		projectdiscovery.io

[INF] Current urlfinder version v0.0.1 (latest)
[INF] Enumerating urls for tesla.com
https://www.tesla.com/akam/13/7e68a6e8
https://www.tesla.com/akam/13/pixel_4e07b670
https://www.tesla.com/da_dk/en/node/30788?redirect=no
https://www.tesla.com/de_at/findus/location/charger/dc6290
https://www.tesla.com/akam/13/7ade0a44
https://www.tesla.com/cs_cz/referral/teslaapp23713?redirect=no
https://www.tesla.com/da_dk/findus/location/charger/dc253
https://www.tesla.com/akam/13/pixel_76102729
https://www.tesla.com/da_dk/blog/modules//system/system.messages.js
...
[INF] Found 202435 urls for tesla.com in 2 minutes 37 seconds

Opzioni di filtro

Usa le opzioni -m (match) e -f (filter) per affinare i risultati in base ai pattern degli URL.

Esempi

1. Includere URL che corrispondono a pattern specifici

   Per includere solo gli URL che contengono "shop" o "model":

   urlfinder -d tesla.com -m shop,model
   

2. Escludere URL che corrispondono a pattern specifici

   Per escludere gli URL che contengono "privacy" o "terms":

   urlfinder -d tesla.com -f privacy,terms
   

3. Combinare match e filter

   Per trovare gli URL che contengono "support" ma escludere quelli con "faq":

   urlfinder -d tesla.com -m support -f faq
   

Usare file per corrispondenze e filtri

Fornisci i pattern in file:

urlfinder -d tesla.com -m include-patterns.txt -f exclude-patterns.txt

Esempio di output JSONL

Usa il flag -j o --jsonl per restituire i risultati in formato JSONL (JSON Lines), dove ogni riga è un oggetto JSON separato. Questo formato è utile per elaborare output di grandi dimensioni in modo strutturato.

Esempio di comando

urlfinder -d tesla.com -j

Esempio di output JSONL

{"url":"https://shop.tesla.com/product/model-s-plaid","input":"tesla.com","source":"waybackarchive"}
{"url":"https://www.tesla.com/inventory/used/ms","input":"tesla.com","source":"waybackarchive"}
{"url":"https://forums.tesla.com/discussion/101112/model-3-updates","input":"tesla.com","source":"waybackarchive"}

Ogni oggetto JSON contiene:

• url: L'URL scoperto.
• input: Il dominio di destinazione (es. tesla.com).
• source: La fonte dei dati per la scoperta dell'URL (es. waybackarchive).