`--extract-links` يقرأ كل وسم يحمل عنوان URL، وليس فقط المراسي: `<a href>`،
`<script src>`، `<link href>`، `<form action>`، ``، ``،
`<source src>`، `<object data>`، `<embed src>`، وأهداف `<meta http-equiv="refresh">`.
تُحل عناوين URL النسبية مقابل الصفحة (مع احترام `<base href>`)،
وتُدمج التكرارات، وتمر الروابط المكتشفة عبر نفس المرشحات
والتحقق من المضيف كبقية التشغيل. راجع
[docs/content/guide/cli-options.md](https://github.com/hahwul/urx/blob/main/docs/content/guide/cli-options.md) للاطلاع على
الجدول الكامل.

`--extract-js-endpoints` يخطو خطوة أبعد ويقرأ JavaScript
نفسه: كل عنوان URL مُجمَّع يبدو كسكربت يُجلب وتُستخرج حرفيًا سلاسله النصية
للعثور على المسارات وعناوين URL التي يستدعيها التطبيق —
`fetch("/api/v2/users")`، `axios.post("/graphql")`، البادئة الثابتة لـ
`` `/api/orders/${id}` ``. هذه هي نقاط النهاية التي لا تظهر أبدًا في HTML.
يُجرَّد المخرجات بقوة من الضوضاء (تُسقَط أنواع MIME، ومحدِّدات الوحدات، وbase64،
وقيم CSS، وشظايا regex وغيرها)، ويُحدَّد كل جسم بحد أقصى
10 MiB، ويُقيَّد عدد الملفات المجلوبة بـ `--max-js-files`، وتمر
نقاط النهاية المكتشفة عبر نفس المرشحات والتحقق من المضيف ككل شيء
آخر. سياسة الاستخراج الكاملة وكبت الضوضاء موجودة في
[docs/content/guide/cli-options.md](https://github.com/hahwul/urx/blob/main/docs/content/guide/cli-options.md#javascript-endpoint-extraction).

`--archive-body` يقوم بنفس الاستخراج على الأجسام التي *خزَّنها* Wayback Machine
بدلًا من الموقع الحي، لذا فإن صفحة حُذفت منذ سنوات
لا تزال تُنتج الروابط التي احتوتها. راجع
[استخراج أجسام الاستجابات المؤرشفة](#mining-archived-response-bodies).

### أمثلة```bash
# Save results to a file
urx example.com -o results.txt

# Output in JSON format
urx example.com -f json -o results.json

# Filter for JavaScript files only
urx example.com -e js

# Exclude HTML and text files
urx example.com --exclude-extensions html,txt

# Filter for API endpoints
urx example.com --patterns api,v1,graphql

# Exclude specific patterns
urx example.com --exclude-patterns static,images

# Use Fileter Preset (similar to --exclude-extensions=png,jpg,.....)
urx example.com -p no-images

# Use specific providers
urx example.com --providers wayback,otx

# Add the keyless Arquivo.pt (Portuguese web archive) provider
urx example.com --providers wayback,cc,otx,arquivo

# Query another CDX index server alongside the defaults (id: cdx:vefsafn.is)
urx example.is --cdx-endpoint https://vefsafn.is/cdx

# ...or on its own, rate-limited, with the archive-side filters it shares with wayback/cc
urx example.is --cdx-endpoint https://vefsafn.is/cdx --providers cdx:vefsafn.is \
  --rate-limit-by cdx:vefsafn.is=1 --from 2020 --archive-status 200

# URLScan works without a key (anonymous, rate-limited); a key just raises limits
urx example.com --providers urlscan

# BeVigil: endpoints pulled out of unpacked Android apps (key required; auto-enables the provider)
URX_BEVIGIL_API_KEY=*** urx example.com

# Using VirusTotal and URLScan providers
# 1. Explicitly add to providers (with API keys via command line)
urx example.com --providers=vt,urlscan --vt-api-key=*** --urlscan-api-key=***

# 2. Using environment variables for API keys
URX_VT_API_KEY=*** URX_URLSCAN_API_KEY=*** urx example.com --providers=vt,urlscan

# 3. Auto-enabling: providers are automatically added when API keys are provided
urx example.com --vt-api-key=*** --urlscan-api-key=*** # No need to specify in --providers

# 4. Multiple API key rotation (to mitigate rate limits)
# Using repeated flags for multiple keys
urx example.com --vt-api-key=key1 --vt-api-key=key2 --vt-api-key=key3

# Using environment variables with comma-separated keys
URX_VT_API_KEY=key1,key2,key3 URX_URLSCAN_API_KEY=ukey1,ukey2 urx example.com

# Combining CLI flags and environment variables (CLI keys are used first)
URX_VT_API_KEY=env_key1,env_key2 urx example.com --vt-api-key=cli_key1 --vt-api-key=cli_key2

# URLs from robots.txt and sitemap.xml are included by default

# Exclude URLs from robots.txt files
urx example.com --exclude-robots

# Exclude URLs from sitemap
urx example.com --exclude-sitemap

# Also read every archived version of robots.txt and sitemap.xml, so paths the
# site once listed and has since removed come back
urx example.com --archived-discovery

# Only the versions captured in a given era
urx example.com --archived-discovery --from 2014 --to 2016 --exclude-sitemap

# Include subdomains
urx example.com --subs

# Check status of collected URLs
urx example.com --check-status

# Read URLs directly from a text file
urx --files urls.txt

# Combine file input with filtering
urx --files urls.txt --patterns api,admin -f json

# Extract additional links from collected URLs
# (anchors, scripts, stylesheets, form actions, iframes, images, media
#  sources, objects, embeds, and meta-refresh targets)
urx example.com --extract-links

# Discovered links go through the same filters as everything else, so this
# keeps only the JavaScript the pages reference
urx example.com --extract-links -e js

# Read the collected JavaScript and pull out the API paths it calls
urx example.com --extract-js-endpoints --patterns api

# Chain them: collect the site's bundles, then mine those for endpoints
urx example.com --extract-links --extract-js-endpoints --max-js-files 100

# Mine the links inside the *archived* bodies instead — dead pages included.
# One request per distinct body; the limit bounds bodies, not URLs
urx example.com --archive-body --archive-body-limit 200 --rate-limit 5

# Network configuration
urx example.com --proxy http://localhost:8080 --timeout 60 --parallel 10 --insecure

# Advanced filtering
urx example.com -e js,php --patterns admin,login --exclude-patterns logout,static --min-length 20

# HTTP Status code based filtering (live requests: urx re-fetches each URL)
urx example.com --include-status 200,30x,405 --exclude-status 20x

# Archive-side filtering (free: the CDX index already knows these)
# Skip everything the archive recorded as a 404 — no extra requests
urx example.com --archive-exclude-status 404

# Only captures the archive served as JSON — finds extensionless API endpoints
urx example.com --archive-mime application/json

# Drop HTML to leave assets and endpoints behind
urx example.com --archive-exclude-mime text/html

# Restrict the crawl window across wayback, cc, arquivo, and any --cdx-endpoint alike
urx example.com --from 2023 --to 2024

# Disable host validation
urx example.com --strict false

# URL normalization and deduplication
# Normalize URLs by sorting query parameters and removing trailing slashes
urx example.com --normalize-url

# Combine normalization with endpoint merging for comprehensive deduplication
urx example.com --normalize-url --merge-endpoint

# URL normalization with file input
urx --files urls.txt --normalize-url

# Collapse /post/1, /post/2, /post/99999 ... into a single representative line
urx example.com --dedup-similar

# Regular-expression filtering (repeat either flag; they are never comma-split)
urx example.com --match-regex '/api/v[0-9]+/'
urx example.com --match-regex '\.php$' --match-regex '\.aspx$'
urx example.com --filter-regex '/(assets|static)/'

# Regexes are case-sensitive; ask for insensitivity explicitly
urx example.com --match-regex '(?i)admin'

# Security presets: match by path shape as well as by extension
urx example.com -p only-secrets   # /.env, /.git/config, id_rsa, *.pem
urx example.com -p only-backup    # *.bak, *.sql, /backup/, index.php~
urx example.com -p only-config    # *.yaml, web.config, .htaccess, Dockerfile
urx example.com -p only-api       # /api/, /v1/, /graphql, /swagger, *.wsdl

# Scope files: a bug bounty program's own host list, used verbatim
urx example.com --subs --scope-file scope.txt

# Metadata filters, applied after collection so every provider is covered
urx example.com --providers wayback --meta-last-seen-after 2024 --meta-exclude-mime 'image/*'
urx example.com --providers wayback --meta-mime application/json --meta-status 200

# What parameters does this target take, and where?
urx example.com --params
urx example.com --params-by-endpoint

# One templated URL per parameter signature, straight into a fuzzer
urx example.com --fuzz-placeholder FUZZ | ffuf -w - -u FUZZ

# A target-specific wordlist instead of a URL list
urx example.com --subs -f wordlist -o words.txt

# Open the API specifications the sweep found and expand every route in them
urx example.com -p only-api --expand-specs

# Status checks also keep the response head; --check-title adds the <title>
urx example.com --check-status -f jsonl
urx example.com --check-title --show-meta

# Inspect and maintain the cache
urx cache stats
urx cache drop example.com

هذا ليس مرشحًا يُطبَّق بعد جمع النتائج. فهرس CDX يجيب على استعلامات البادئة أصلاً، لذا يرسل urx `url=example.com/shop*` ولا يُرسل الأرشيف بقية الموقع عبر الشبكة — على هدف كبير، هذا هو الفرق بين بضع مئات من الصفوف وبضع مئات الآلاف. أما المزوّدون الذين لا يستطيعون التعبير عن مسار في استعلامهم (OTX، VirusTotal، urlscan، GitHub، BeVigil، ZoomEye) فيُسألون عن المضيف وتُضيّق إجاباتهم بعد ذلك، وكذلك نتائج تشغيل `--subs`، حيث لا يمكن الجمع بين صيغة `*.host` وبادئة مسار في استعلام CDX واحد.

النطاق يعني *عند المسار أو تحته*: `/shop` و `/shop/cart` داخلان، أما `/shopping` فليس كذلك. يُتجاهل اختلاف حالة الأحرف، لأن خادم CDX يحوّل عنوان URL بالكامل إلى أحرف صغيرة عند بناء مفتاح فهرسه — `example.com/Shop*` و `example.com/shop*` يُعيدان الصفوف نفسها، كلها مكتوبة بأحرف صغيرة، لذا فإن فحصًا حساسًا لحالة الأحرف سيتخلص من كل ما أعاده الأرشيف للتو. تُسقَط سلسلة الاستعلام أو الجزء (fragment) في الهدف — فهي تضيّق طلبًا، لا نطاقًا.

> ملاحظة: كان urx يتجاهل المسار من الهدف، لذا كان
> `urx https://example.com/shop` يفحص كامل `example.com`. الآن
> يفحص `/shop`. مرّر المضيف فقط للسلوك القديم؛ التشغيل الذي يحمل هدفه
> مسارًا يصرّح بذلك على stderr.

### التصفية بالتعبيرات النمطية

`--patterns` / `--exclude-patterns` هي اختبارات سلاسل فرعية بسيطة: يُحوَّل الطرفان إلى أحرف صغيرة، وكل محرف خاص يُعامل حرفيًا. أما `--match-regex` / `--filter-regex` فهما نظيرا التعبيرات النمطية، ويختلفان في ثلاث نواحٍ تستحق التذكر:

| | `--patterns` | `--match-regex` |
|---|---|---|
| المطابقة | سلسلة فرعية | [صيغة regex](https://docs.rs/regex/latest/regex/#syntax) كاملة |
| حالة الأحرف | غير حساسة (يُحوَّل الطرفان إلى أحرف صغيرة) | **حساسة** — استخدم `(?i)` لإلغاء ذلك |
| قيم متعددة | علم واحد مفصول بفواصل | كرّر العلم؛ لا تُقسَّم الفواصل أبدًا |

يُقيَّم كلا علمي regex مقابل **سلسلة URL الكاملة** كما جُمعت (المخطط، المضيف، المسار، والاستعلام)، لذا يعمل كل من `^https://` و `\.js$`. الاستبعاد يفوز: يُسقَط عنوان URL المطابق لـ `--filter-regex` حتى لو طابقه `--match-regex` أيضًا. التعبير المشوّه يُفشل التشغيل عند البدء، قبل الاستعلام عن أي أرشيف.

### ملفات النطاق

نطاق برنامج مكافآت الثغرات هو قائمة مضيفين، وكل منصة تكتبها بالطريقة نفسها. يأخذ `--scope-file` تلك القائمة كما هي بدلاً من إجبارك على ترجمتها يدويًا إلى بدائل regex مثبّتة — حيث يؤدي الخطأ في التثبيت إلى *توسيع* النطاق بصمت بدلاً من الفشل.```text
# scope.txt — in scope
*.example.com
api.example.org

# out of scope, even though the wildcard above covers them
!admin.example.com
!*.internal.example.com

git clone https://github.com/example/proxychecker.git
cd proxychecker
go build -o proxychecker

go install github.com/example/proxychecker@latest

proxychecker [options] [proxy...]

proxychecker 192.168.1.1:8080

proxychecker 192.168.1.1:8080 10.0.0.1:1080 socks5://127.0.0.1:9050

proxychecker -f proxies.txt

proxychecker -f proxies.txt --json -o results.json

proxychecker --auth user:pass 192.168.1.1:8080

git clone https://github.com/example/proxychecker.git
cd proxychecker
go mod download
go build -o proxychecker

go test ./...

GOOS=linux GOARCH=amd64 go build -o proxychecker-linux-amd64
GOOS=windows GOARCH=amd64 go build -o proxychecker-windows-amd64.exe
GOOS=darwin GOARCH=arm64 go build -o proxychecker-darwin-arm64

`*.example.com` يطابق النطاق الجذر وكذلك كل ما يندرج تحته (قراءة bug-bounty، وهو ما يعنيه جدول النطاق في المنصة)؛ المضيف المجرد يطابق ذلك المضيف بالضبط؛ `*` المنفرد يجعل الملف قائمة رفض خالصة؛ الاستثناءات تفوز دائمًا؛ `#` يبدأ تعليقًا. أي شيء لا يستطيع urx تلبيته — منفذ، مسار، حرف بدل في المنتصف — هو خطأ عند بدء التشغيل يذكر الملف والسطر بدلًا من نطاق أوسع بصمت. ينطبق المرشح على كل مزوّد وعلى الروابط المستخرجة، ويتحد مع `--strict` بدلًا من استبداله، لذا لا يزال سطر نطاق `*.example.com` بحاجة إلى `--subs`.

### مرشحات بيانات تعريف الأرشيف

يتم دفع `--from`/`--to` ومحمولات `--archive-*` إلى استعلام الأرشيف نفسه، مما يجعلها مجانية ويحدها أيضًا إلى المزوّدين المدعومين بـ CDX — وتختلف لهجتا CDX اختلافًا سيئًا بما يكفي بحيث تكون قائمة متعددة القيم موجبة (`--archive-status 200,301`) غير قابلة للتحقق على خوادم pywb. أما مرشحات `--meta-*` الثمانية فتعمل *بعد* الجمع بدلًا من ذلك، على مجموعة مدموجة واحدة من بيانات تعريف الالتقاط لكل URL، لذا تنطبق على كل مزوّد بشكل موحد.```bash
# Endpoints still being captured recently, with HTML and images out of the way
urx example.com --providers wayback --meta-last-seen-after 2024 --meta-exclude-mime 'text/html,image/*'

# Pages that died: nothing captured since 2019
urx example.com --providers wayback --meta-last-seen-before 2019

# JSON the archive served successfully
urx example.com --providers wayback --meta-mime application/json --meta-status 200

# First archived during 2020 (partial dates pad to the start / end of the period)
urx example.com --providers wayback --meta-first-seen-after 2020 --meta-first-seen-before 2020

`--params-by-endpoint` يطوي مقاطع المسار التي تشبه المعرّفات إلى `{id}` تمامًا كما
يفعل `--dedup-similar`، ويكتب نقطة النهاية بالكامل لأن urx
يفحص عادةً عدة مضيفين في تشغيل واحد. يُبقي `--fuzz-placeholder` عنوان URL واحدًا لكل
توقيع معامل ويحتفظ بمساره الحقيقي — إذ لن يتم توجيه `{id}` — لذا يتغذى
الناتج مباشرةً إلى أداة fuzzer:```bash
urx example.com --fuzz-placeholder FUZZ | ffuf -w - -u FUZZ
urx example.com --fuzz-placeholder FUZZ | dalfox pipe

المقاطع التي تبدو كبيانات وليست أسماء مسارات تُترك خارجًا، مع إعادة استخدام مجموعات اختبار `--dedup-similar` — فقائمة كلمات مليئة بـ `4711` ومعرّفات UUID والتواريخ ورموز الجلسات أسوأ من عدم وجود قائمة كلمات، لأن كل كلمة من هذه الكلمات موجودة على هدف واحد فقط. ويُستبعد أيضًا المقطع الذي يكون جذعه معرّفًا (`article-1234.html`). تُحفظ حالة الأحرف: فمقاطع المسار حساسة لحالة الأحرف في معظم الأصول، لذا فإن تحويل `WebResource.axd` إلى أحرف صغيرة سينتج كلمة تُرجع 404 في كل مكان تُجرَّب فيه. يجب أخذ الاتحاد على المجموعة الكاملة، لذا فإن الصيغة تعمل على دفعات فقط.

### الإخراج المتدفق

افتراضيًا، يجمع urx كل شيء، ثم يرشّح ويرتّب ويطبع مرة واحدة. على هدف كبير يعني ذلك عدم وجود أي إخراج حتى ينتهي أبطأ أرشيف. يكتب `--stream` كل URL في اللحظة التي يعود فيها المزوّد الذي أبلغ عنه:```bash
# Matches start appearing immediately instead of after the slowest provider
urx big-target.com --stream | grep admin

# Line-delimited JSON stays valid while it is still being written
urx big-target.com --stream -f jsonl | jq -r 'select(.url | test("/api/")) | .url'

البث (`--stream`) يبلّغ عن عناوين URL فقط. يُطبع عنوان URL عند أول رؤية له،
قبل وصول عمليات الالتقاط التي من شأنها توسيع نطاق `first_seen`/`last_seen` الخاص به،
لذلك يُرفض `--show-meta` هناك لنفس السبب الذي يُرفض به
`--show-sources`.

إصابة ذاكرة التخزين المؤقت لا تحمل أيضًا أي بيانات وصفية: تخزّن ذاكرة التخزين المؤقت عناوين URL، لذا فإن نطاقًا يُخدَّم
من ذاكرة التخزين المؤقت يبلّغ عن عناوين URL الخاصة به دون حقول الالتقاط. استخدم `--no-cache` (أو انتظر
انتهاء صلاحية TTL) للحصول على تشغيل يعيد ملء هذه الحقول.

### البيانات الوصفية للاستجابة الحية

`--check-status` يرسل بالفعل طلبًا وينتظر رأس الاستجابة، لذا فإن
ما يحمله ذلك الرأس يأتي مجانًا: يُسجَّل `Location` و`Content-Length` و
`Content-Type` إلى جانب رمز الحالة. لا تُتبَع عمليات إعادة التوجيه أبدًا،
لذا فإن الحالة المُبلَّغ عنها تنتمي دائمًا إلى عنوان URL الذي طُلب منه
و`location` تقول ببساطة إلى أين أشارت استجابة 3xx.

`--check-title` يضيف عنوان HTML `<title>`. إنه الحقل الوحيد غير المجاني —
فالعنوان يحتاج إلى جسم الاستجابة — لذا يقع خلف علم خاص به. القراءة
محدودة مرتين (بحد أقصى 64 KiB، وتتوقف عند وسم الإغلاق) وتُتخطى
بالكامل لجسم أعلن الخادم أنه غير HTML، لذا فإن واجهة JSON API أو صورة
لا تكلف شيئًا. يُدمج العنوان من المسافات البيضاء، ويُفكّ ترميز الكيانات، ويُقتطع إلى 200
حرف. `--check-title` يستلزم `--check-status`.```bash
urx example.com --check-status -f jsonl
urx example.com --check-title --show-meta
urx example.com --check-status --is 30x -f jsonl | jq -r '.url + " -> " + .location'

`-H` قابل للتكرار، ويأخذ `Name: value`، وإذا كان مشوّهاً يوقف التشغيل
بدلاً من أن يمر دون أن يُلاحظ — فوسيط يُسقَط بصمت يترك
فحصاً مجهول الهوية يُقرأ كأنه موثّق. `--cookie` و
`--user-agent` اختصارات للترويسات المقابلة.

**هذه الترويسات لا تصل أبداً إلى أرشيف.** تُرسَل فقط من المكوّنات
التي تتحدث إلى الهدف: الفاحصات الأربعة أعلاه، بالإضافة إلى مزوّدي `robots` و
`sitemap`، اللذين يجلبان من الهدف أيضاً. كل مزوّد آخر
يستعلم من web.archive.org أو index.commoncrawl.org أو واجهة برمجة تطبيقات طرف ثالث، وكذلك
يفعل `--archive-body` عندما يعيد تشغيل لقطة محفوظة؛ تسليمهم ملف تعريف ارتباط جلسة الهدف
سيعني إرسال بيانات اعتماد بالبريد إلى خدمة تحتفظ بما
تستقبله، دون أي فائدة. استعلامات الأرشيف تحتفظ بـ User-Agent الخاص بـ urx، والذي
لا يزال `--random-agent` يبدّله.

### استخراج أجسام الاستجابات المؤرشفة

`--extract-links` يجلب كل رابط مُجمَّع من الموقع الحي، وهو
بالضبط المكان الخاطئ للبحث عن الصفحات التي يهتم بها مسح OSINT أكثر من غيرها:
تلك التي لم تعد موجودة. `--archive-body` يجلب الأجسام التي خزّنها Wayback
Machine بدلاً من ذلك. لكل رابط مُجمَّع يحمل طابعاً زمنياً للقطة محفوظة،
يعيد urx تشغيل تلك اللقطة بشكلها الخام
(`https://web.archive.org/web/<timestamp>id_/<url>` — علم `id_` يوقف
شريط أدوات Wayback وإعادة كتابة الروابط، فيكون الجسم هو البايتات الأصلية) و
يشغّل عليه نفس استخراج الروابط الذي يستخدمه `--extract-links`.```bash
# Links from the archived bodies of everything the CDX providers found
urx example.com --archive-body

# Bound the run and pace it; the archive is one host no matter how many URLs
urx example.com --archive-body --archive-body-limit 200 --rate-limit 5

# Only the JavaScript those pages referenced back then
urx example.com --archive-body -e js

**الاحتفاظ بالمحتوى.** الطلبات تُجرى بالفعل، لذا فإن كتابة المحتوى على القرص لا تكلّف شيئًا إضافيًا وتجيب على الأسئلة التي لا يطرحها أي مستخرج روابط: تعليق `<!-- staging.internal -->`، والرمز الذي قام بناء عام 2019 بتضمينه، وتتبع المكدس الذي يسمّي إصدار إطار العمل.```bash
urx example.com --archive-body --archive-body-dir ./corpus
grep -ri "api[_-]key" ./corpus

ما الذي يتم توسيعه:

* **OpenAPI 3.x** — `servers[].url` (مطلق، نسبي إلى المستند، وقوالب،
  مع `{var}` يُحل من `variables[var].default` أو أول قيمة في `enum`)
  متقاطعًا مع كل مفتاح في `paths`؛ حيث تتجاوز `servers` الخاصة بعنصر المسار
  تلك الخاصة بالمستند.
* **Swagger 2.0** — `schemes` × `host` + `basePath`، مع رجوع كل جزء إلى
  الجزء المقابل من عنوان URL الخاص بالمستند نفسه. يتم إسقاط `ws`/`wss`.
* **استبطان GraphQL** — عنوان URL واحد لكل حقل استعلام وطفرة واشتراك،
  مكتوب كعنوان النقطة النهائية بالإضافة إلى `?query=…`. المخطط المحفوظ كملف
  يُحل إلى نقطته النهائية (`/graphql/schema.json` → `/graphql`).

يتم قراءة كل من JSON و YAML. يتم اختيار الأهداف بالاسم أولاً ومجانًا (سلسلة
فرعية مميزة للمواصفة — `swagger`، `openapi`، `api-docs`، `graphql`،
`introspection` — بالإضافة إلى امتداد `json`/`yaml`/`yml` عند وجوده، لذا
فإن `swagger-ui.html` لا يكلف أي طلب)، ثم بواسطة `Content-Type` الخاص
بالاستجابة. يتم إصدار قوالب المسار كما يكتبها المستند (`/users/{id}`، وليس
`/users/%7Bid%7D`). يتم تحديد حجم الأجسام بحد أقصى 10 MiB، ويُرفض مستند YAML
يحتوي على أكثر من 32 مرجعًا بديلاً قبل التحليل لاستبعاد قنابل التوسيع.
يحد `--max-spec-files` (الافتراضي 50) من المستندات التي يتم جلبها. مع تفعيل
`--archive-body` أيضًا، تُقرأ المواصفة المؤرشفة كواحدة دون تكلفة طلب إضافية —
فقد كان الجسم يُجلب بالفعل.

### robots.txt و sitemap.xml المؤرشفان

يقرأ مزودا `robots` و `sitemap` الملفات *الحية*، التي تخبر فقط بما يخفيه
الموقع أو يسرده اليوم. يقرأ `--archived-discovery` أيضًا كل نسخة مميزة من
تلك الملفات خزّنها Wayback Machine. يشير `Disallow:` من عام 2015 إلى مسارات
توقف الموقع عن ذكرها منذ ذلك الحين — غالبًا لأنها كان يُقصد نسيانها، وليس
لأنها اختفت — كما تسرد خريطة موقع قديمة كل ما أراد الموقع زحفه في يوم من
الأيام.```bash
# Every archived version of robots.txt and sitemap.xml, alongside the live ones
urx example.com --archived-discovery

# Bound it and pace it; both archived providers answer to --rate-limit-by
urx example.com --archived-discovery --archived-discovery-limit 20 --rate-limit-by robots=2,sitemap=2

# Only the versions captured in a given era
urx example.com --archived-discovery --from 2014 --to 2016

* معرّف المزوّد هو `cdx:<host>` (`cdx:vefsafn.is`)، وهو ما تستخدمه
  `--exclude-providers` و`--rate-limit-by` و`--stats` و`--show-sources`.
  تسمية نقطة نهاية تُفعّلها؛ لا حاجة إلى مدخل `--providers`، و
  `--providers cdx:vefsafn.is` يشغّلها وحدها. يُظهر `--list-providers`
  نقاط النهاية المُسمّاة على نفس سطر الأوامر مع المعرّفات التي ستعمل بها.
* كل ما تلتزم به مزوّدات CDX المدمجة ينطبق هنا أيضًا: `--subs`،
  `--from`/`--to`، مرشّحات `--archive-*`، ترقيم الصفحات، `--rate-limit`، و
  بيانات الالتقاط الوصفية المذكورة أعلاه.
* `--cdx-dialect classic|pywb` يسمّي لهجة الخادم (أسماء الحقول، دلالات
  الترشيح، تنسيق الصفوف ومخطط ترقيم الصفحات كلها تتبعها — انظر
  "الترشيح من جهة الأرشيف"). إذا تُرك دون تعيين، يستكشف urx نقطة النهاية
  مرة واحدة لكل تشغيل ويرجع إلى `pywb`، اللهجة الأكثر شيوعًا؛ عيّنه صراحةً
  عندما لا يستطيع الاستكشاف التمييز (إجابة فارغة لنطاق غير معروف، على سبيل
  المثال).
* يمكن أيضًا تعيينه في ملف الإعدادات (`cdx_endpoint = [...]`، `cdx_dialect`).

**نقاط النهاية المُتحقَّق منها.** حتى كتابة هذه السطور، نقطة النهاية العامة
الوحيدة المؤكَّد عملها من البداية إلى النهاية هي `https://vefsafn.is/cdx`
(أرشيف الويب الأيسلندي التابع لـ Landsbókasafn، لهجة pywb). أمران يجب
معرفتهما عنها: أنها تتجاهل `limit` و`page` و`showNumPages` وتعيد مجموعة
النتائج الكاملة لكل استعلام، وهو ما يتعامل معه urx؛ وبعد بضعة طلبات قد تبدأ
في الإجابة بصفحة حماية من الروبوتات على نمط Anubis ("التحقق من الجلسة").
يكتشف urx إجابة HTML بدلًا من صفوف CDX ويبلّغ عنها كخطأ مزوّد يسمّي نقطة
النهاية — ولا تُحتسب أبدًا كـ "لا عناوين URL". إذا واجهتها، أبطئ باستخدام
`--rate-limit-by cdx:vefsafn.is=1` أو أعد المحاولة لاحقًا.

**المعروف أنها لا تعمل.** أرشيف الويب البريطاني (`webarchive.org.uk`)،
وأرشيف الويب لمكتبة الكونغرس (`webarchive.loc.gov`)، ومكتبة الإسكندرية،
والمكتبة الوطنية الأسترالية (`web.archive.org.au`) كلها تقف خلف حماية من
الروبوتات أو عمليات إعادة توجيه تحجب واجهات CDX الخاصة بها عن عميل سطر
الأوامر. لا يحاول urx الالتفاف على ذلك، لذا فإن توجيه `--cdx-endpoint`
إليها يُنتج خطأ إجابة HTML المذكور أعلاه.

### التخزين المؤقت والمسح التزايدي

يدعم Urx التخزين المؤقت لتحسين الأداء للمسحات المتكررة والمسح التزايدي
لاكتشاف عناوين URL الجديدة فقط.```bash
# Enable caching with SQLite (default)
urx example.com --cache-type sqlite --cache-path ~/.urx/cache.db

# Use Redis for distributed caching
urx example.com --cache-type redis --redis-url redis://localhost:6379

# Incremental scanning - only show new URLs since last scan
urx example.com --incremental

# Set cache TTL (time-to-live) to 12 hours
urx example.com --cache-ttl 43200

# Disable caching entirely
urx example.com --no-cache

# Combine incremental scanning with filters
urx example.com --incremental -e js,php --patterns api

# Configuration file with caching settings
urx -c example/config.toml example.com

مطابقة النطاق غير حساسة لحالة الأحرف و**دقيقة** ما لم يحتوي النمط على
`*` — كان الافتراضي القائم على السلسلة الفرعية سيتيح لـ `drop example.com` إزالة
`notexample.com` أيضًا. يسأل `clear` قبل الحذف ويرفض
stdin غير تفاعلي بدلًا من افتراض إجابة، ويسمّي `drop` أي نمط
لم يطابق شيئًا، والنظر إلى ذاكرة التخزين المؤقت لا ينشئ واحدة أبدًا، ويتم كنس Redis
بـ `SCAN` بدلًا من `KEYS` الحاجب (مع حجب أي كلمة مرور في `--redis-url`
قبل طباعتها).

#### حالات استخدام التخزين المؤقت```bash
# Daily monitoring - only alert on new URLs (built-in webhook, see below)
urx target.com --incremental --silent --notify https://hooks.slack.com/services/... --notify-format slack

# ...or hand the new URLs to an external notifier
urx target.com --incremental --silent | notify-tool

# Efficient domain lists processing
cat domains.txt | urx --incremental --cache-ttl 3600 > new_urls.txt

# Distributed team scanning with Redis
urx example.com --cache-type redis --redis-url redis://shared-cache:6379

# Fast re-scans during development
urx test-domain.com --cache-ttl 300  # 5-minute cache for rapid iterations

- `--notify-on` هو `new` افتراضيًا: لا يُرسل شيء عندما لا يُنتج التشغيل أي
  عناوين URL، لذا يبقى تشغيل cron الهادئ هادئًا. `always` يُرسل بغض النظر؛ `never`
  يُبقي الإعدادات لكنه يُعطّل الإرسال.
- `--notify-format json` (الافتراضي) يُرسل مخطط urx: `domains`،
  `incremental`، `url_count`، `new_url_count`، `elapsed_ms`، قائمة `providers`
  لكل مزوّد (نفس الأرقام التي يطبعها `--stats`)، و`sample` لما يصل إلى
  20 عنوان URL مُصدَر مع ضبط `sample_truncated` عند العثور على المزيد.
  `slack` يُرسل `{"text": ...}` و`discord` يُرسل `{"content": ...}` مع
  رسالة قصيرة مقروءة بشريًا؛ الرسائل الأطول مما تسمح به الخدمة تُقطع
  عند حدّ السطر وتنتهي بـ `[truncated: N lines cut ...]`.
- التسليم لا يُغيّر رمز الخروج أبدًا. تكون عناوين URL بالفعل على stdout أو في
  `--output` بحلول وقت استدعاء الـ webhook، لذا فإن webhook ميت يُعدّ تحذيرًا
  على stderr ويظل التشغيل يخرج بالرمز 0. يُظهر `--verbose` حالة الاستجابة.
- عنوان URL الخاص بالـ webhook هو بيانات اعتماد. لا يطبع urx أبدًا أكثر من
  مخططه ومضيفه — لا في `--verbose`، ولا في التحذيرات، ولا في `--stats`. لإبقائه
  خارج إعدادات مُودَعة في المستودع، ضعه في `URX_NOTIFY_URL` أو كـ
  `notify_url` في ملف إعدادات المزوّد؛ كما يعمل `[notify].url` في الإعدادات
  الرئيسية. الأولوية هي CLI/env > إعدادات المزوّد > الإعدادات الرئيسية.
- يحترم الطلب `--proxy` و`--proxy-auth` و`--timeout` و`--insecure`.
  لا ينطبق `--network-scope`: فهو يقسّم حركة المرور الموجّهة إلى الهدف
  والأرشيفات، بينما الـ webhook هو نقطة النهاية الخاصة بك.
- لا يزال `--silent` يُرسل (فهذه هي حالة الاستخدام الرئيسية)؛ إنه فقط يخفي
  التشخيصات.

## التكامل مع الأدوات الأخرى

يعمل Urx جيدًا في خطوط الأنابيب مع أدوات الأمن والاستطلاع الأخرى:```bash
# Find domains, then discover URLs
echo "example.com" | urx | grep "login" > potential_targets.txt

# Combine with other tools
cat domains.txt | urx --patterns api | other-tool