`--extract-links`는 앵커뿐 아니라 URL을 포함하는 모든 태그를 읽습니다: `<a href>`,
`<script src>`, `<link href>`, `<form action>`, ``, ``,
`<source src>`, `<object data>`, `<embed src>`, 그리고 `<meta http-equiv="refresh">`
대상까지 포함합니다. 상대 URL은 페이지를 기준으로 해석되며(`<base href>`를 준수),
중복은 제거되고, 발견된 링크는 실행의 나머지 부분과 동일한 필터
및 호스트 검증을 통과합니다. 전체 표는
[docs/content/guide/cli-options.md](https://github.com/hahwul/urx/blob/main/docs/content/guide/cli-options.md)를 참조하세요.

`--extract-js-endpoints`는 한 단계 더 나아가 JavaScript 자체를 읽습니다:
스크립트로 보이는 수집된 모든 URL을 가져와 그 문자열 리터럴에서 앱이 호출하는
경로와 URL을 추출합니다 —
`fetch("/api/v2/users")`, `axios.post("/graphql")`, `` `/api/orders/${id}` ``의 정적 접두사.
이들은 HTML에는 결코 나타나지 않는 엔드포인트입니다.
출력은 공격적으로 노이즈가 제거되며(MIME 타입, 모듈 지정자, base64,
CSS 값, 정규식 조각 등이 제거됨), 각 본문은 10 MiB로 제한되고,
가져오는 파일 수는 `--max-js-files`로 제한되며, 발견된 엔드포인트는
다른 모든 것과 동일한 필터 및 호스트 검증을 통과합니다. 전체 추출 및
노이즈 억제 정책은
[docs/content/guide/cli-options.md](https://github.com/hahwul/urx/blob/main/docs/content/guide/cli-options.md#javascript-endpoint-extraction)에 있습니다.

`--archive-body`는 라이브 사이트가 아니라 Wayback Machine이
*저장한* 본문에 대해 동일한 추출을 수행하므로, 수년 전에 삭제된 페이지도
포함하고 있던 링크를 여전히 산출합니다. [아카이브된 응답 본문 마이닝](#mining-archived-response-bodies)을 참조하세요.

### 예시```bash
# Save results to a file
urx example.com -o results.txt

# Output in JSON format
urx example.com -f json -o results.json

# Filter for JavaScript files only
urx example.com -e js

# Exclude HTML and text files
urx example.com --exclude-extensions html,txt

# Filter for API endpoints
urx example.com --patterns api,v1,graphql

# Exclude specific patterns
urx example.com --exclude-patterns static,images

# Use Fileter Preset (similar to --exclude-extensions=png,jpg,.....)
urx example.com -p no-images

# Use specific providers
urx example.com --providers wayback,otx

# Add the keyless Arquivo.pt (Portuguese web archive) provider
urx example.com --providers wayback,cc,otx,arquivo

# Query another CDX index server alongside the defaults (id: cdx:vefsafn.is)
urx example.is --cdx-endpoint https://vefsafn.is/cdx

# ...or on its own, rate-limited, with the archive-side filters it shares with wayback/cc
urx example.is --cdx-endpoint https://vefsafn.is/cdx --providers cdx:vefsafn.is \
  --rate-limit-by cdx:vefsafn.is=1 --from 2020 --archive-status 200

# URLScan works without a key (anonymous, rate-limited); a key just raises limits
urx example.com --providers urlscan

# BeVigil: endpoints pulled out of unpacked Android apps (key required; auto-enables the provider)
URX_BEVIGIL_API_KEY=*** urx example.com

# Using VirusTotal and URLScan providers
# 1. Explicitly add to providers (with API keys via command line)
urx example.com --providers=vt,urlscan --vt-api-key=*** --urlscan-api-key=***

# 2. Using environment variables for API keys
URX_VT_API_KEY=*** URX_URLSCAN_API_KEY=*** urx example.com --providers=vt,urlscan

# 3. Auto-enabling: providers are automatically added when API keys are provided
urx example.com --vt-api-key=*** --urlscan-api-key=*** # No need to specify in --providers

# 4. Multiple API key rotation (to mitigate rate limits)
# Using repeated flags for multiple keys
urx example.com --vt-api-key=key1 --vt-api-key=key2 --vt-api-key=key3

# Using environment variables with comma-separated keys
URX_VT_API_KEY=key1,key2,key3 URX_URLSCAN_API_KEY=ukey1,ukey2 urx example.com

# Combining CLI flags and environment variables (CLI keys are used first)
URX_VT_API_KEY=env_key1,env_key2 urx example.com --vt-api-key=cli_key1 --vt-api-key=cli_key2

# URLs from robots.txt and sitemap.xml are included by default

# Exclude URLs from robots.txt files
urx example.com --exclude-robots

# Exclude URLs from sitemap
urx example.com --exclude-sitemap

# Also read every archived version of robots.txt and sitemap.xml, so paths the
# site once listed and has since removed come back
urx example.com --archived-discovery

# Only the versions captured in a given era
urx example.com --archived-discovery --from 2014 --to 2016 --exclude-sitemap

# Include subdomains
urx example.com --subs

# Check status of collected URLs
urx example.com --check-status

# Read URLs directly from a text file
urx --files urls.txt

# Combine file input with filtering
urx --files urls.txt --patterns api,admin -f json

# Extract additional links from collected URLs
# (anchors, scripts, stylesheets, form actions, iframes, images, media
#  sources, objects, embeds, and meta-refresh targets)
urx example.com --extract-links

# Discovered links go through the same filters as everything else, so this
# keeps only the JavaScript the pages reference
urx example.com --extract-links -e js

# Read the collected JavaScript and pull out the API paths it calls
urx example.com --extract-js-endpoints --patterns api

# Chain them: collect the site's bundles, then mine those for endpoints
urx example.com --extract-links --extract-js-endpoints --max-js-files 100

# Mine the links inside the *archived* bodies instead — dead pages included.
# One request per distinct body; the limit bounds bodies, not URLs
urx example.com --archive-body --archive-body-limit 200 --rate-limit 5

# Network configuration
urx example.com --proxy http://localhost:8080 --timeout 60 --parallel 10 --insecure

# Advanced filtering
urx example.com -e js,php --patterns admin,login --exclude-patterns logout,static --min-length 20

# HTTP Status code based filtering (live requests: urx re-fetches each URL)
urx example.com --include-status 200,30x,405 --exclude-status 20x

# Archive-side filtering (free: the CDX index already knows these)
# Skip everything the archive recorded as a 404 — no extra requests
urx example.com --archive-exclude-status 404

# Only captures the archive served as JSON — finds extensionless API endpoints
urx example.com --archive-mime application/json

# Drop HTML to leave assets and endpoints behind
urx example.com --archive-exclude-mime text/html

# Restrict the crawl window across wayback, cc, arquivo, and any --cdx-endpoint alike
urx example.com --from 2023 --to 2024

# Disable host validation
urx example.com --strict false

# URL normalization and deduplication
# Normalize URLs by sorting query parameters and removing trailing slashes
urx example.com --normalize-url

# Combine normalization with endpoint merging for comprehensive deduplication
urx example.com --normalize-url --merge-endpoint

# URL normalization with file input
urx --files urls.txt --normalize-url

# Collapse /post/1, /post/2, /post/99999 ... into a single representative line
urx example.com --dedup-similar

# Regular-expression filtering (repeat either flag; they are never comma-split)
urx example.com --match-regex '/api/v[0-9]+/'
urx example.com --match-regex '\.php$' --match-regex '\.aspx$'
urx example.com --filter-regex '/(assets|static)/'

# Regexes are case-sensitive; ask for insensitivity explicitly
urx example.com --match-regex '(?i)admin'

# Security presets: match by path shape as well as by extension
urx example.com -p only-secrets   # /.env, /.git/config, id_rsa, *.pem
urx example.com -p only-backup    # *.bak, *.sql, /backup/, index.php~
urx example.com -p only-config    # *.yaml, web.config, .htaccess, Dockerfile
urx example.com -p only-api       # /api/, /v1/, /graphql, /swagger, *.wsdl

# Scope files: a bug bounty program's own host list, used verbatim
urx example.com --subs --scope-file scope.txt

# Metadata filters, applied after collection so every provider is covered
urx example.com --providers wayback --meta-last-seen-after 2024 --meta-exclude-mime 'image/*'
urx example.com --providers wayback --meta-mime application/json --meta-status 200

# What parameters does this target take, and where?
urx example.com --params
urx example.com --params-by-endpoint

# One templated URL per parameter signature, straight into a fuzzer
urx example.com --fuzz-placeholder FUZZ | ffuf -w - -u FUZZ

# A target-specific wordlist instead of a URL list
urx example.com --subs -f wordlist -o words.txt

# Open the API specifications the sweep found and expand every route in them
urx example.com -p only-api --expand-specs

# Status checks also keep the response head; --check-title adds the <title>
urx example.com --check-status -f jsonl
urx example.com --check-title --show-meta

# Inspect and maintain the cache
urx cache stats
urx cache drop example.com

이것은 사후에 적용되는 필터가 아니다. CDX 인덱스는 접두사 쿼리에
네이티브로 응답하므로, urx는 `url=example.com/shop*`를 전송하고 아카이브는
사이트의 나머지 부분을 네트워크로 전송하지 않는다 — 대규모 타겟에서는 이것이
수백 행과 수십만 행의 차이다. 쿼리에서 경로를 표현할 수 없는 제공자(OTX,
VirusTotal, urlscan, GitHub, BeVigil, ZoomEye)에게는 호스트에 대해 질의하고
그 답변은 나중에 좁혀지며, `--subs` 실행의 결과도 마찬가지인데, 여기서는
`*.host` 형식과 경로 접두사를 하나의 CDX 쿼리로 결합할 수 없다.

범위는 경로 *상에 또는 그 아래*를 의미한다: `/shop`과 `/shop/cart`는 포함되고,
`/shopping`은 아니다. 대소문자는 무시되는데, CDX 서버가 인덱스 키를 만들 때
전체 URL을 소문자로 바꾸기 때문이다 — `example.com/Shop*`과
`example.com/shop*`은 동일한 행을 반환하며 모두 소문자로 표기되므로,
대소문자를 구분하는 검사는 아카이브가 방금 반환한 모든 것을 버리게 된다.
타겟의 쿼리 문자열이나 프래그먼트는 버려진다 — 그것들은 요청을 좁히는 것이지
범위를 좁히는 것이 아니다.

> 참고: urx는 예전에 타겟에서 경로를 버렸기 때문에,
> `urx https://example.com/shop`은 `example.com` 전체를 스캔했다. 이제는
> `/shop`을 스캔한다. 예전 동작을 원하면 호스트만 전달하라; 타겟에 경로가
> 있는 실행은 stderr에 그렇게 표시한다.

### 정규식 필터링

`--patterns` / `--exclude-patterns`는 단순한 부분 문자열 테스트이다: 양쪽 모두
소문자로 변환되고, 모든 메타문자는 리터럴이다. `--match-regex` /
`--filter-regex`는 정규식 대응물이며, 기억할 가치가 있는 세 가지 점에서
다르다:

| | `--patterns` | `--match-regex` |
|---|---|---|
| 매칭 | 부분 문자열 | 전체 [정규식 구문](https://docs.rs/regex/latest/regex/#syntax) |
| 대소문자 | 구분 안 함 (양쪽 모두 소문자로 변환) | **구분함** — 옵트아웃하려면 `(?i)` 사용 |
| 다중 값 | 하나의 쉼표로 구분된 플래그 | 플래그 반복; 쉼표는 절대 분리되지 않음 |

두 정규식 플래그 모두 수집된 **전체 URL 문자열**(스킴, 호스트, 경로, 쿼리)에
대해 평가되므로, `^https://`와 `\.js$` 둘 다 작동한다. 제외가 우선한다:
`--filter-regex`에 매칭되는 URL은 `--match-regex`에도 매칭되더라도 버려진다.
잘못된 표현식은 아카이브가 질의되기 전에 시작 시점에 실행을 실패시킨다.

### 범위 파일

버그 바운티 프로그램의 범위는 호스트 목록이며, 모든 플랫폼이 동일한 방식으로
작성한다. `--scope-file`은 그것을 앵커링된 정규식 대안으로 직접 변환하도록
하는 대신 그 목록을 그대로 받는다 — 앵커링을 잘못하면 실패하는 대신 조용히
범위를 *넓히게* 된다.```text
# scope.txt — in scope
*.example.com
api.example.org

# out of scope, even though the wildcard above covers them
!admin.example.com
!*.internal.example.com

pip install codescanner

git clone https://github.com/example/codescanner.git
cd codescanner
pip install -e .

docker pull example/codescanner:latest
docker run --rm -v $(pwd):/workspace example/codescanner scan /workspace

# 로컬 디렉터리 스캔
codescanner scan ./my-project

# 특정 파일 스캔
codescanner scan ./src/main.py

# 원격 저장소 스캔
codescanner scan https://github.com/example/repo.git

version: "1.0"

scan:
  sources:
    - path: ./src
      language: auto
    - url: https://example.com/data.json
      type: json

  rules:
    - id: SEC001
      severity: high
      enabled: true
    - id: SEC002
      severity: medium
      enabled: true

  output:
    format: sarif
    path: ./reports/results.sarif

  ai:
    enabled: true
    provider: openai
    model: gpt-4
    api_key: ${OPENAI_API_KEY}

codescanner scan ./project --output html --severity high

export OPENAI_API_KEY="sk-..."
codescanner scan ./project --ai --output sarif

# .github/workflows/scan.yml
name: Security Scan
on: [push, pull_request]

jobs:
  scan:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Run CodeScanner
        uses: example/codescanner-action@v1
        with:
          path: ./
          output: sarif
          upload-sarif: true

{
  "version": "1.0",
  "scan_id": "abc123",
  "timestamp": "2024-01-15T10:30:00Z",
  "findings": [
    {
      "id": "SEC001",
      "severity": "high",
      "message": "SQL injection vulnerability detected",
      "file": "src/db.py",
      "line": 42,
      "column": 10
    }
  ]
}

{
  "$schema": "https://json.schemastore.org/sarif-2.1.0.json",
  "version": "2.1.0",
  "runs": [
    {
      "tool": {
        "driver": {
          "name": "CodeScanner",
          "version": "1.0.0"
        }
      },
      "results": []
    }
  ]
}

from codescanner.rules import BaseRule, Finding

class MyCustomRule(BaseRule):
    id = "CUSTOM001"
    name = "My Custom Rule"
    severity = "medium"

    def check(self, context):
        findings = []
        for node in context.ast_nodes:
            if node.type == "function_call":
                if node.name == "eval":
                    findings.append(Finding(
                        rule_id=self.id,
                        message="Use of eval() detected",
                        file=context.file_path,
                        line=node.line,
                    ))
        return findings

from codescanner.plugins import register_rule

register_rule(MyCustomRule)

pip install codescanner

echo $OPENAI_API_KEY

codescanner scan ./project --threads 8 --exclude "node_modules,venv,.git"

`*.example.com`은 apex와 그 아래의 모든 항목을 매칭하며(버그 바운티 해석, 즉 플랫폼의 범위 테이블이 의미하는 바), 단독 호스트는 정확히 그 호스트만 매칭하고, 단독 `*`는 파일을 순수 거부 목록으로 만듭니다. 제외는 항상 우선하며, `#`은 주석을 시작합니다. urx가 존중할 수 없는 것 — 포트, 경로, 중간의 와일드카드 — 은 조용히 더 넓은 범위가 되는 대신 파일과 줄을 명시하는 시작 오류입니다. 필터는 모든 제공자와 추출된 링크에 적용되며, `--strict`를 대체하는 것이 아니라 결합하므로 `*.example.com` 범위 줄에는 여전히 `--subs`가 필요합니다.

### 아카이브 메타데이터 필터

`--from`/`--to`와 `--archive-*` 조건자는 아카이브 자체의 쿼리에 푸시되어 무료이며 CDX 기반 제공자로 제한됩니다 — 그리고 두 CDX 방언은 긍정적인 다중 값 목록(`--archive-status 200,301`)이 pywb 서버에서 충족 불가능할 정도로 심하게 불일치합니다. 여덟 개의 `--meta-*` 필터는 대신 수집 *이후*에 실행되며, URL당 하나의 병합된 캡처 메타데이터 집합에 대해 작동하므로 모든 제공자에 균일하게 적용됩니다.```bash
# Endpoints still being captured recently, with HTML and images out of the way
urx example.com --providers wayback --meta-last-seen-after 2024 --meta-exclude-mime 'text/html,image/*'

# Pages that died: nothing captured since 2019
urx example.com --providers wayback --meta-last-seen-before 2019

# JSON the archive served successfully
urx example.com --providers wayback --meta-mime application/json --meta-status 200

# First archived during 2020 (partial dates pad to the start / end of the period)
urx example.com --providers wayback --meta-first-seen-after 2020 --meta-first-seen-before 2020

`--params-by-endpoint`는 `--dedup-similar`와 마찬가지로 id처럼 보이는 경로 세그먼트를 `{id}`로 축약하고, urx가 한 번의 실행에서 여러 호스트를 일상적으로 스캔하기 때문에 엔드포인트를 전체 형태로 표기합니다. `--fuzz-placeholder`는 파라미터 시그니처당 URL 하나를 유지하고 실제 경로를 그대로 둡니다 — `{id}`는 라우팅되지 않기 때문입니다 — 따라서 출력은 퍼저에 바로 입력할 수 있습니다:```bash
urx example.com --fuzz-placeholder FUZZ | ffuf -w - -u FUZZ
urx example.com --fuzz-placeholder FUZZ | dalfox pipe

데이터처럼 보이는 세그먼트는 경로 이름이 아니라면 제외되며, `--dedup-similar` 그룹 테스트를 재사용합니다. `4711`, UUID, 날짜, 세션 토큰으로 가득 찬 워드리스트는 워드리스트가 없는 것보다 worse합니다. 왜냐하면 그 단어들 각각은 정확히 하나의 대상에만 존재하기 때문입니다. stem이 식별자인 세그먼트도 마찬가지로 제외됩니다(`article-1234.html`). 대소문자는 보존됩니다. 경로 세그먼트는 대부분의 origin에서 대소문자를 구분하므로, `WebResource.axd`를 소문자로 바꾸면 시도되는 모든 곳에서 404가 발생하는 단어가 만들어집니다. 합집합은 전체 집합에 대해 취해야 하므로, 형식은 batch-only입니다.

### 스트리밍 출력

기본적으로 urx는 모든 것을 수집한 다음 필터링, 정렬하고 한 번에 출력합니다. 큰 대상에서는 가장 느린 아카이브가 끝날 때까지 출력이 전혀 없다는 뜻입니다. `--stream`은 이를 보고하는 provider가 돌아오는 즉시 각 URL을 씁니다:```bash
# Matches start appearing immediately instead of after the slowest provider
urx big-target.com --stream | grep admin

# Line-delimited JSON stays valid while it is still being written
urx big-target.com --stream -f jsonl | jq -r 'select(.url | test("/api/")) | .url'

스트리밍(`--stream`)은 URL만 보고합니다. URL은 처음 발견되는 즉시 출력되며, 이때 `first_seen`/`last_seen` 범위를 넓혀줄 캡처가 아직 도착하지 않은 상태이므로, `--show-sources`가 거부되는 것과 같은 이유로 `--show-meta`도 거부됩니다.

캐시 히트 역시 메타데이터를 포함하지 않습니다. 캐시는 URL을 저장하므로, 캐시에서 제공되는 도메인은 캡처 필드 없이 URL만 보고합니다. 이를 다시 채우는 실행을 원한다면 `--no-cache`를 사용하거나 TTL이 만료될 때까지 기다리세요.

### 라이브 응답 메타데이터

`--check-status`는 이미 요청을 보내고 응답 헤드를 기다리므로, 그 헤드가 담고 있는 정보는 공짜로 얻어집니다. `Location`, `Content-Length`, `Content-Type`이 상태 코드와 함께 기록됩니다. 리다이렉트는 여전히 절대 따라가지 않으므로, 보고된 상태는 항상 요청한 URL에 속하며 `location`은 단순히 3xx가 어디를 가리켰는지를 나타냅니다.

`--check-title`은 HTML `<title>`을 추가합니다. 이것은 공짜가 아닌 유일한 필드입니다. 타이틀은 응답 본문이 필요하기 때문에 자체 플래그 뒤에 위치합니다. 읽기는 두 번 제한되며(최대 64 KiB, 그리고 닫는 태그에서 중단), 서버가 비HTML로 선언한 본문에 대해서는 완전히 건너뛰므로 JSON API나 이미지는 아무 비용도 들지 않습니다. 타이틀은 공백이 축약되고 엔티티가 디코딩되며 200자로 잘립니다. `--check-title`은 `--check-status`를 암시합니다.```bash
urx example.com --check-status -f jsonl
urx example.com --check-title --show-meta
urx example.com --check-status --is 30x -f jsonl | jq -r '.url + " -> " + .location'

`-H`는 반복 지정할 수 있고 `Name: value` 형식을 취하며, 형식이 잘못된 항목은 눈에 띄지 않게 넘어가는 대신 실행을 중단시킵니다. 조용히 무시된 인자는 인증된 스캔을 익명 스캔으로 읽히게 남겨두기 때문입니다. `--cookie`와 `--user-agent`는 해당 헤더에 대한 축약형입니다.

**이 헤더들은 아카이브에 도달하지 않습니다.** 이들은 대상과 통신하는 컴포넌트, 즉 위의 네 가지 테스터와 대상에서 가져오는 `robots` 및 `sitemap` 프로바이더에 의해서만 전송됩니다. 다른 모든 프로바이더는 web.archive.org, index.commoncrawl.org 또는 서드파티 API를 조회하며, 캡처를 재생할 때의 `--archive-body`도 마찬가지입니다. 이들에게 대상의 세션 쿠키를 넘기면 아무 이득 없이 수신한 것을 보관하는 서비스에 자격 증명을 우편으로 보내는 셈이 됩니다. 아카이브 조회는 urx 자체의 User-Agent를 유지하며, `--random-agent`는 여전히 이를 회전시킵니다.

### 아카이브된 응답 본문 마이닝

`--extract-links`는 수집된 모든 URL을 라이브 사이트에서 가져오는데, 이는 OSINT 스윕이 가장 중요하게 여기는 페이지, 즉 더 이상 존재하지 않는 페이지를 찾기에 정확히 잘못된 장소입니다. `--archive-body`는 대신 Wayback Machine이 저장한 본문을 가져옵니다. 캡처 타임스탬프가 있는 수집된 모든 URL에 대해, urx는 해당 캡처를 원시 형태(`https://web.archive.org/web/<timestamp>id_/<url>` — `id_` 플래그는 Wayback 툴바와 링크 재작성을 비활성화하므로 본문은 원본 바이트입니다)로 재생하고, `--extract-links`가 사용하는 것과 동일한 링크 추출을 그 위에서 실행합니다.```bash
# Links from the archived bodies of everything the CDX providers found
urx example.com --archive-body

# Bound the run and pace it; the archive is one host no matter how many URLs
urx example.com --archive-body --archive-body-limit 200 --rate-limit 5

# Only the JavaScript those pages referenced back then
urx example.com --archive-body -e js

**본문 유지.** 요청은 이미 이루어지고 있으므로, 본문을 디스크에 기록하는 데 추가 비용이 들지 않으며 링크 추출기가 묻지 않는 질문들에 답할 수 있습니다: `<!-- staging.internal -->` 주석, 2019년 빌드가 인라인한 토큰, 프레임워크 버전을 명시한 스택 트레이스.```bash
urx example.com --archive-body --archive-body-dir ./corpus
grep -ri "api[_-]key" ./corpus

확장되는 항목:

* **OpenAPI 3.x** — `servers[].url`(절대, 문서 상대, 템플릿 형식 포함,
  `{var}`는 `variables[var].default` 또는 첫 번째 `enum` 값에서 해석됨)을
  모든 `paths` 키와 교차 적용하며, path item 자체의 `servers`는 문서의
  설정을 재정의한다.
* **Swagger 2.0** — `schemes` × `host` + `basePath`로, 각 부분은 문서 자체
  URL의 해당 부분으로 폴백된다. `ws`/`wss`는 제거된다.
* **GraphQL introspection** — 각 query, mutation, subscription 필드마다
  하나의 URL을 생성하며, 엔드포인트에 `?query=…`를 붙여 작성한다. 파일로
  저장된 스키마는 해당 엔드포인트로 해석된다(`/graphql/schema.json` →
  `/graphql`).

JSON과 YAML 모두 읽는다. 대상은 먼저 이름으로 무료로 선택된다(스펙 마커
부분 문자열 — `swagger`, `openapi`, `api-docs`, `graphql`, `introspection`
— 과 확장자가 있을 경우 `json`/`yaml`/`yml` 확장자, 따라서
`swagger-ui.html`은 요청 비용이 들지 않는다). 그다음으로 응답의
`Content-Type`으로 선택된다. 경로 템플릿은 문서에 기록된 그대로 출력된다
(`/users/%7Bid%7D`가 아닌 `/users/{id}`). 본문은 10 MiB로 제한되며, 32개
이상의 alias 참조를 가진 YAML 문서는 확장 폭탄을 배제하기 위해 파싱 전에
거부된다. `--max-spec-files`(기본값 50)는 가져오는 문서 수를 제한한다.
`--archive-body`도 함께 켜져 있으면 아카이브된 스펙은 추가 요청 비용 없이
하나로 읽힌다 — 본문은 이미 가져오고 있었기 때문이다.

### 아카이브된 robots.txt와 sitemap.xml

`robots`와 `sitemap` 프로바이더는 *라이브* 파일을 읽으며, 이는 사이트가
오늘 숨기거나 나열하는 것만 알려준다. `--archived-discovery`는 Wayback
Machine이 저장한 해당 파일들의 모든 고유 버전도 읽는다. 2015년의
`Disallow:`는 사이트가 그 이후 언급을 중단한 경로를 지목한다 — 종종
잊히기 위해 의도된 것이지 사라졌기 때문이 아니다 — 그리고 오래된
sitemap은 사이트가 한때 크롤링되기를 원했던 모든 것을 나열한다.```bash
# Every archived version of robots.txt and sitemap.xml, alongside the live ones
urx example.com --archived-discovery

# Bound it and pace it; both archived providers answer to --rate-limit-by
urx example.com --archived-discovery --archived-discovery-limit 20 --rate-limit-by robots=2,sitemap=2

# Only the versions captured in a given era
urx example.com --archived-discovery --from 2014 --to 2016

* provider id는 `cdx:<host>`(`cdx:vefsafn.is`)이며, 이는 `--exclude-providers`, `--rate-limit-by`, `--stats` 및 `--show-sources`에서 사용하는 값입니다.
  endpoint를 지정하면 해당 endpoint가 활성화되며, `--providers` 항목은 필요하지 않고, `--providers cdx:vefsafn.is`는 해당 endpoint만 단독으로 실행합니다. `--list-providers`는 같은 명령줄에서 지정된 endpoint들을 실행될 id와 함께 표시합니다.
* 내장 CDX provider가 지원하는 모든 항목이 여기에도 적용됩니다: `--subs`, `--from`/`--to`, `--archive-*` 필터, 페이지네이션, `--rate-limit`, 그리고 위에서 설명한 캡처 메타데이터.
* `--cdx-dialect classic|pywb`는 서버의 dialect를 지정합니다(필드 이름, 필터 의미 체계, 행 형식 및 페이지네이션 방식이 모두 이에 따릅니다 — "Archive-side Filtering" 참조). 설정하지 않으면 urx는 실행당 한 번 endpoint를 probe하고 더 일반적인 dialect인 `pywb`로 폴백합니다. probe로 판별할 수 없는 경우(예: 알 수 없는 도메인에 대한 빈 응답)에는 명시적으로 설정하십시오.
* 구성 파일에서도 설정할 수 있습니다(`cdx_endpoint = [...]`, `cdx_dialect`).

**검증된 endpoint.** 이 글을 쓰는 시점에서 end to end로 작동하는 것이 확인된 유일한 공개 endpoint는 `https://vefsafn.is/cdx`(Landsbókasafn의 아이슬란드 웹 아카이브, pywb dialect)입니다. 이 endpoint에 대해 알아야 할 두 가지가 있습니다: `limit`, `page`, `showNumPages`를 무시하고 모든 쿼리에 대해 전체 결과 집합을 반환하며, urx는 이를 처리합니다. 그리고 몇 번의 요청 후에는 Anubis 스타일의 봇 보호 페이지("Session Verification")로 응답하기 시작할 수 있습니다. urx는 CDX 행 대신 HTML 응답을 감지하면 해당 endpoint를 명시한 provider 오류로 보고합니다 — 이는 "URL 없음"으로 계산되지 않습니다. 이 문제가 발생하면 `--rate-limit-by cdx:vefsafn.is=1`로 속도를 늦추거나 나중에 다시 시도하십시오.

**작동하지 않는 것으로 알려진 것.** UK Web Archive(`webarchive.org.uk`), Library of Congress 웹 아카이브(`webarchive.loc.gov`), Bibliotheca Alexandrina, 그리고 National Library of Australia(`web.archive.org.au`)는 모두 봇 보호 또는 리다이렉트 뒤에 있어 명령줄 클라이언트에서 CDX API를 차단합니다. urx는 이를 우회하려고 시도하지 않으므로, 이들을 `--cdx-endpoint`로 지정하면 위의 HTML 응답 오류가 발생합니다.

### 캐싱 및 증분 스캔

Urx는 반복 스캔의 성능을 향상시키기 위한 캐싱과 새로운 URL만 발견하기 위한 증분 스캔을 지원합니다.```bash
# Enable caching with SQLite (default)
urx example.com --cache-type sqlite --cache-path ~/.urx/cache.db

# Use Redis for distributed caching
urx example.com --cache-type redis --redis-url redis://localhost:6379

# Incremental scanning - only show new URLs since last scan
urx example.com --incremental

# Set cache TTL (time-to-live) to 12 hours
urx example.com --cache-ttl 43200

# Disable caching entirely
urx example.com --no-cache

# Combine incremental scanning with filters
urx example.com --incremental -e js,php --patterns api

# Configuration file with caching settings
urx -c example/config.toml example.com

도메인 매칭은 대소문자를 구분하지 않으며 패턴에 `*`가 포함되지 않는 한 **정확**합니다 — 부분 문자열 기본값이었다면 `drop example.com`이 `notexample.com`까지 제거했을 것입니다. `clear`는 삭제 전에 확인을 요청하고 답변을 가정하는 대신 비대화형 stdin을 거부하며, `drop`은 아무것도 매칭되지 않은 패턴의 이름을 밝히고, 캐시를 조회하는 것만으로는 캐시가 생성되지 않으며, Redis는 차단성 `KEYS` 대신 `SCAN`으로 훑습니다(`--redis-url`의 비밀번호는 출력 전에 마스킹됩니다).

#### 캐싱 사용 사례```bash
# Daily monitoring - only alert on new URLs (built-in webhook, see below)
urx target.com --incremental --silent --notify https://hooks.slack.com/services/... --notify-format slack

# ...or hand the new URLs to an external notifier
urx target.com --incremental --silent | notify-tool

# Efficient domain lists processing
cat domains.txt | urx --incremental --cache-ttl 3600 > new_urls.txt

# Distributed team scanning with Redis
urx example.com --cache-type redis --redis-url redis://shared-cache:6379

# Fast re-scans during development
urx test-domain.com --cache-ttl 300  # 5-minute cache for rapid iterations

- `--notify-on`은 기본값이 `new`입니다. 실행에서 URL이 하나도 나오지 않으면 아무것도 전송되지 않으므로 조용한 cron 실행은 조용하게 유지됩니다. `always`는 결과와 관계없이 전송하고, `never`는 설정은 유지하되 전송을 비활성화합니다.
- `--notify-format json`(기본값)은 urx의 스키마를 전송합니다: `domains`, `incremental`, `url_count`, `new_url_count`, `elapsed_ms`, 프로바이더별 `providers` 목록(`--stats`가 출력하는 것과 동일한 수치), 그리고 최대 20개의 출력 URL `sample`(더 많이 발견된 경우 `sample_truncated`가 설정됨)을 포함합니다. `slack`은 `{"text": ...}`를, `discord`는 `{"content": ...}`를 짧은 사람이 읽을 수 있는 메시지와 함께 전송합니다. 서비스가 허용하는 길이를 초과하는 메시지는 줄 경계에서 잘리고 `[truncated: N lines cut ...]`로 끝납니다.
- 전송은 종료 코드를 변경하지 않습니다. 웹훅이 호출될 시점에는 URL이 이미 stdout이나 `--output`에 있으므로, 죽은 웹훅은 stderr에 경고로 남고 실행은 여전히 0으로 종료됩니다. `--verbose`는 응답 상태를 보여줍니다.
- 웹훅 URL은 자격 증명입니다. urx는 스킴과 호스트 이상을 절대 출력하지 않습니다 — `--verbose`에서도, 경고에서도, `--stats`에서도 마찬가지입니다. 체크인되는 설정 파일에서 이를 빼두려면 `URX_NOTIFY_URL`에 넣거나 프로바이더 설정 파일의 `notify_url`로 두십시오. 메인 설정의 `[notify].url`도 작동합니다. 우선순위는 CLI/env > 프로바이더 설정 > 메인 설정입니다.
- 요청은 `--proxy`, `--proxy-auth`, `--timeout`, `--insecure`를 따릅니다. `--network-scope`는 적용되지 않습니다. 이는 대상과 아카이브를 향한 트래픽을 구분하는 것이고, 웹훅은 자신의 엔드포인트이기 때문입니다.
- `--silent`도 여전히 전송합니다(이것이 주요 사용 사례입니다). 단지 진단 정보만 숨깁니다.

## 다른 도구와의 통합

Urx는 다른 보안 및 정찰 도구와의 파이프라인에서 잘 작동합니다:```bash
# Find domains, then discover URLs
echo "example.com" | urx | grep "login" > potential_targets.txt

# Combine with other tools
cat domains.txt | urx --patterns api | other-tool