tomnomnom/unfurlstdin으로 제공된 URL에서 조각을 추출합니다
stdin으로 제공된 URL에서 조각을 추출합니다
Go가 설치 및 구성되어 있다면:
▶ go install github.com/tomnomnom/unfurl@latest
그렇지 않으면 플랫폼에 맞는 최신 바이너리를 다운로드하고,
압축을 푼 다음 $PATH에 포함된 디렉토리(예: /usr/bin/)로 이동하세요:
▶ wget https://github.com/tomnomnom/unfurl/releases/download/v0.0.1/unfurl-linux-amd64-0.0.1.tgz
▶ tar xzf unfurl-linux-amd64-0.0.1.tgz
▶ sudo mv unfurl /usr/bin/
unfurl은 stdin으로 제공된 URL을 처리합니다. URL은 다음과 같은 파일에서 가져올 수 있습니다:
▶ cat urls.txt
https://sub.example.com/users?id=123&name=Sam
https://sub.example.com/orgs?org=ExCo#about
http://example.net/about#contact
domains 모드를 사용하여 URL에서 도메인을 추출할 수 있습니다:
▶ cat urls.txt | unfurl domains
sub.example.com
sub.example.com
example.net
중복된 값을 출력하고 싶지 않다면 -u 또는 --unique 플래그를 사용할 수 있습니다:
▶ cat urls.txt | unfurl --unique domains
sub.example.com
example.net
-u/--unique 플래그는 모든 모드에서 동작합니다.
apexes 모드를 사용하여 도메인의 apex 부분(예: http://sub.example.com의 example.com)을 추출할 수 있습니다:
▶ cat urls.txt | unfurl -u apexes
example.com
example.net
▶ cat urls.txt | unfurl paths
/users
/orgs
/about
▶ cat urls.txt | unfurl keys
id
name
org
▶ cat urls.txt | unfurl values
123
Sam
ExCo
▶ cat urls.txt | unfurl keypairs
id=123
name=Sam
org=ExCo
▶ cat urls.txt | unfurl json
{"scheme":"https","opaque":"","user":"","host":"sub.example.com","path":"/users","raw_path":"","raw_query":"id=123\u0026name=Sam","fragment":"","parameters":[{"key":"id","value":"123"},{"key":"name","value":"Sam"}],"url":"https://sub.example.com/users?id=123\u0026name=Sam","domain":"sub.example.com","subdomain":"sub","root":"example","tld":"com","apex":"example.com","port":"","extension":""}
{"scheme":"https","opaque":"","user":"","host":"sub.example.com","path":"/orgs","raw_path":"","raw_query":"org=ExCo","fragment":"about","parameters":[{"key":"org","value":"ExCo"}],"url":"https://sub.example.com/orgs?org=ExCo#about","domain":"sub.example.com","subdomain":"sub","root":"example","tld":"com","apex":"example.com","port":"","extension":""}
{"scheme":"http","opaque":"","user":"","host":"example.net","path":"/about","raw_path":"","raw_query":"","fragment":"contact","parameters":null,"url":"http://example.net/about#contact","domain":"example.net","subdomain":"","root":"example","tld":"net","apex":"example.net","port":"","extension":""}
format 모드를 사용하면 사용자 지정 출력 형식을 지정할 수 있습니다:
▶ cat urls.txt | unfurl format %d%p
sub.example.com/users
sub.example.com/orgs
example.net/about
사용 가능한 형식 지시자는 다음과 같습니다:
%% A literal percent character
%s The request scheme (e.g. https)
%u The user info (e.g. user:pass)
%d The domain (e.g. sub.example.com)
%S The subdomain (e.g. sub)
%r The root of domain (e.g. example)
%t The TLD (e.g. com)
%P The port (e.g. 8080)
%p The path (e.g. /users)
%e The path's file extension (e.g. jpg, html)
%q The raw query string (e.g. a=1&b=2)
%f The page fragment (e.g. page-section)
%@ Inserts an @ if user info is specified
%: Inserts a colon if a port is specified
%? Inserts a question mark if a query string exists
%# Inserts a hash if a fragment exists
%a Authority (alias for %u%@%d%:%P)
형식 지시자와 일치하지 않는 모든 문자는 그대로 유지됩니다:
▶ cat urls.txt | unfurl -u format "%d (%s)"
sub.example.com (https)
example.net (http)
URL에 요청한 데이터가 포함되어 있지 않으면 해당 URL에 대한 출력이 없습니다:
▶ echo http://example.com | unfurl format "%P"
▶ echo http://example.com:8080 | unfurl format "%P"
8080
▶ unfurl -h
Format URLs provided on stdin
Usage:
unfurl [OPTIONS] [MODE] [FORMATSTRING]
Options:
-u, --unique Only output unique values
-v, --verbose Verbose mode (output URL parse errors)
Modes:
keys Keys from the query string (one per line)
values Values from the query string (one per line)
keypairs Key=value pairs from the query string (one per line)
domains The hostname (e.g. sub.example.com)
paths The request path (e.g. /users)
apexes The apex domain (e.g. example.com from sub.example.com)
json JSON encoded url/format objects
format Specify a custom format (see below)
Format Directives:
%% A literal percent character
%s The request scheme (e.g. https)
%u The user info (e.g. user:pass)
%d The domain (e.g. sub.example.com)
%S The subdomain (e.g. sub)
%r The root of domain (e.g. example)
%t The TLD (e.g. com)
%P The port (e.g. 8080)
%p The path (e.g. /users)
%e The path's file extension (e.g. jpg, html)
%q The raw query string (e.g. a=1&b=2)
%f The page fragment (e.g. page-section)
%@ Inserts an @ if user info is specified
%: Inserts a colon if a port is specified
%? Inserts a question mark if a query string exists
%# Inserts a hash if a fragment exists
%a Authority (alias for %u%@%d%:%P)
Examples:
cat urls.txt | unfurl keys
cat urls.txt | unfurl format %s://%d%p?%q