projectdiscovery/urlfinderEin Hochgeschwindigkeitstool zum passiven Sammeln von URLs, optimiert für effiziente und umfassende Erkennung von Web-Assets ohne aktives Scannen.
Ein Hochgeschwindigkeits-Tool zur passiven Sammlung von URLs, optimiert für effiziente Web-Asset-Erkennung ohne aktives Scannen.
Funktionen • Installation • Nutzung • Beispiele • Discord beitreten
URLFinder ist ein Hochgeschwindigkeits-Tool zur passiven URL-Erkennung, das entwickelt wurde, um die Erkennung von Web-Assets zu vereinfachen und zu beschleunigen. Es ist ideal für Penetrationstester, Sicherheitsforscher und Entwickler, die URLs ohne aktives Scannen sammeln möchten.
URLFinder erfordert Go 1.21. Installieren Sie es mit dem folgenden Befehl oder laden Sie eine vorkompilierte Binärdatei von der Releases-Seite herunter.
go install -v github.com/projectdiscovery/urlfinder/cmd/urlfinder@latest
urlfinder -h
Dieser Befehl zeigt die Hilfe für URLFinder an. Im Folgenden sind einige gebräuchliche Schalter und Optionen aufgeführt.
A streamlined tool for discovering associated URLs.
Usage:
./urlfinder [flags]
Flags:
INPUT:
-d, -list string[] target domain or list of domains
SOURCE:
-s, -sources string[] specific sources for discovery (e.g., -s alienvault,commoncrawl)
-es, -exclude-sources string[] sources to exclude (e.g., -es alienvault,commoncrawl)
-all use all sources (may be slower)
SCOPE:
-us, -url-scope string[] in scope url regex to be followed by urlfinder
-uos, -url-out-scope string[] out of scope url regex to be excluded by urlfinder
-fs, -field-scope string pre-defined scope field (dn,rdn,fqdn) or custom regex (e.g., '(company-staging.io|company.com)') (default "rdn")
-ns, -no-scope disables host based default scope
-do, -display-out-scope display external endpoint from scoped crawling
FILTER:
-m, -match string[] URLs or list to match (file or comma-separated)
-f, -filter string[] URLs or list to filter (file or comma-separated)
RATE-LIMIT:
-rl, -rate-limit int max HTTP requests per second (global)
-rls, -rate-limits value per-provider HTTP request limits (e.g., -rls waybackarchive=15/m)
UPDATE:
-up, -update update URLFinder to the latest version
-duc, -disable-update-check disable automatic update checks
OUTPUT:
-o, -output string specify output file
-j, -jsonl JSONL output format
-od, -output-dir string specify output directory
-cs, -collect-sources include all sources in JSON output
CONFIGURATION:
-config string config file (default "$CONFIG/urlfinder/config.yaml")
-pc, -provider-config string provider config file (default "$CONFIG/urlfinder/provider-config.yaml")
-proxy string HTTP proxy
DEBUG:
-silent show only URLs in output
-version display URLFinder version
-v verbose output
-nc, -no-color disable colored output
-ls, -list-sources list all available sources
-stats display source statistics
OPTIMIZATION:
-timeout int timeout in seconds (default 30)
-max-time int max time in minutes for enumeration (default 10)
urlfinder -d tesla.com
Dieser Befehl sammelt URLs für die Zieldomain tesla.com.
Beispielausführung:
$ urlfinder -d tesla.com
__ _____ __ _____ __
/ / / / _ \/ / / __(_)__ ___/ /__ ____
/ /_/ / , _/ /__/ _// / _ \/ _ / -_) __/
\____/_/|_/____/_/ /_/_//_/\_,_/\__/_/
projectdiscovery.io
[INF] Current urlfinder version v0.0.1 (latest)
[INF] Enumerating urls for tesla.com
https://www.tesla.com/akam/13/7e68a6e8
https://www.tesla.com/akam/13/pixel_4e07b670
https://www.tesla.com/da_dk/en/node/30788?redirect=no
https://www.tesla.com/de_at/findus/location/charger/dc6290
https://www.tesla.com/akam/13/7ade0a44
https://www.tesla.com/cs_cz/referral/teslaapp23713?redirect=no
https://www.tesla.com/da_dk/findus/location/charger/dc253
https://www.tesla.com/akam/13/pixel_76102729
https://www.tesla.com/da_dk/blog/modules//system/system.messages.js
...
[INF] Found 202435 urls for tesla.com in 2 minutes 37 seconds
Verwenden Sie die Optionen -m (Match) und -f (Filter), um die Ergebnisse basierend auf URL-Mustern zu verfeinern.
URLs mit bestimmten Mustern einschließen
Um nur URLs einzuschließen, die "shop" oder "model" enthalten:
urlfinder -d tesla.com -m shop,model
URLs mit bestimmten Mustern ausschließen
Um URLs auszuschließen, die "privacy" oder "terms" enthalten:
urlfinder -d tesla.com -f privacy,terms
Kombinierte Match- und Filter-Optionen
Um URLs zu finden, die "support" enthalten, aber solche mit "faq" auszuschließen:
urlfinder -d tesla.com -m support -f faq
Muster in Dateien bereitstellen:
urlfinder -d tesla.com -m include-patterns.txt -f exclude-patterns.txt
Verwenden Sie das Flag -j oder --jsonl, um Ergebnisse im JSONL-Format (JSON Lines) auszugeben, bei dem jede Zeile ein separates JSON-Objekt ist. Dieses Format eignet sich zur strukturierten Verarbeitung großer Ausgaben.
urlfinder -d tesla.com -j
{"url":"https://shop.tesla.com/product/model-s-plaid","input":"tesla.com","source":"waybackarchive"}
{"url":"https://www.tesla.com/inventory/used/ms","input":"tesla.com","source":"waybackarchive"}
{"url":"https://forums.tesla.com/discussion/101112/model-3-updates","input":"tesla.com","source":"waybackarchive"}
Jedes JSON-Objekt enthält:
url: Die entdeckte URL.input: Die Zieldomain (z.B. tesla.com).source: Die Datenquelle für die URL-Erkennung (z.B. waybackarchive).