Urx هي أداة سطر أوامر مصممة لجمع عناوين URL من أرشيفات OSINT، مثل Wayback Machine وCommon Crawl. بُنيت بلغة Rust لتحقيق الكفاءة، وهي تستفيد من المعالجة غير المتزامنة للاستعلام بسرعة من مصادر بيانات متعددة. تبسّط هذه الأداة عملية جمع معلومات عناوين URL لنطاق محدد، مما يوفر مجموعة بيانات شاملة يمكن استخدامها لأغراض متنوعة، بما في ذلك اختبار الأمان والتحليل.

الميزات

• جلب عناوين URL من مصادر متعددة بالتوازي (Wayback Machine، Common Crawl، OTX، Arquivo.pt)
• إمكانية توصيل أي خادم فهرس CDX آخر — أرشيفات الويب الوطنية، أو pywb خاص، أو OutbackCDX — باستخدام --cdx-endpoint URL، دون الحاجة إلى تغيير الكود
• بدون مفاتيح افتراضيًا: تعمل Wayback وCommon Crawl وOTX وArquivo.pt وURLScan (مجهول) جميعها دون مفتاح API
• مزوّد BeVigil: عناوين URL مستخرجة من تطبيقات Android غير المحزومة — نقاط نهاية لم يزحف إليها أي أرشيف ويب قط
• دعم تدوير مفاتيح API لمزوّدي VirusTotal وURLScan للتخفيف من حدود المعدل
• اختبار موثّق: تُطبَّق -H و--cookie و--user-agent على كل طلب يرسله urx إلى الهدف (--check-status، --extract-links، --extract-js-endpoints، --expand-specs) ولا تُرسَل عمدًا أبدًا إلى أي أرشيف
• تصفية النتائج حسب امتدادات الملفات، أو أنماط السلاسل الفرعية، أو التعبيرات النمطية الكاملة (--match-regex / --filter-regex)
• إعدادات مسبقة محددة، سواء حسب عائلة الملفات ("no-images"، "only-js") أو حسب الاهتمام الأمني ("only-secrets"، "only-backup"، "only-config"، "only-api")
• التصفية من جهة الأرشيف: دفع رمز الحالة ونوع MIME ونطاق التاريخ إلى استعلام CDX نفسه، بحيث لا تعبر اللقطات المُصفّاة الشبكة أبدًا
• تصفية البيانات الوصفية من جهة العميل (--meta-*): التصفية حسب تاريخ أول/آخر لقطة، ونوع MIME المسجّل، والحالة المسجّلة بشكل موحّد عبر كل مزوّد، بعد الجمع
• أهداف محدّدة النطاق بالمسار: يدفع urx example.com/shop النطاق إلى استعلام CDX نفسه (url=example.com/shop*)، بحيث تكلّف شجرة فرعية من موقع كبير جزءًا بسيطًا من الفهرس الكامل بدلًا من تصفيتها من جهة العميل
• ملفات نطاق Bug-bounty (--scope-file): قائمة البرنامج الخاصة *.example.com / !admin.example.com تُستخدم كما هي، قابلة للتكرار ومُدمَجة، مع فوز الاستثناءات دائمًا
• تطبيع عناوين URL وإزالة التكرار: ترتيب معاملات الاستعلام، وإزالة الشرطات المائلة اللاحقة، ودمج عناوين URL المتطابقة دلاليًا، وطيّ شبه التكرارات التي تختلف فقط في المعرّفات أو التجزئات أو التواريخ (--dedup-similar)
• دعم صيغ إخراج متعددة: نص عادي، JSON، JSON Lines، CSV، وwordlist — مقاطع المسار وأسماء المعاملات التي بُني منها الهدف، مع استبعاد المعرّفات والتجزئات والتواريخ
• عروض المعاملات والتشويش: --params (جرد معاملات الهدف بالكامل)، و--params-by-endpoint (أي نقطة نهاية تأخذ ماذا)، و--fuzz-placeholder FUZZ (عنوان URL واحد بقوالب لكل توقيع معامل، جاهز لـ ffuf أو dalfox)
• بيانات وصفية لالتقاط الأرشيف: تعود first_seen وlast_seen وmime وarchive_status وdigest مع كل عنوان URL أبلغ عنه أرشيف CDX، دون تكلفة شبكة إضافية
• إخراج متدفق (--stream): تُكتب عناوين URL عند إبلاغ كل مزوّد عنها، بحيث يبدأ خط الأنابيب بالعمل فورًا بدلًا من انتظار أبطأ أرشيف
• دعم إدخال الملفات المباشر: قراءة عناوين URL مباشرة من ملفات WARC، وملفات URLTeam المضغوطة، والملفات النصية
• إخراج النتائج إلى الطرفية أو ملف، أو البث عبر stdin لتكامل خطوط الأنابيب
• اختبار عناوين URL:
  • تصفية والتحقق من عناوين URL بناءً على رموز حالة HTTP والأنماط.
  • استخراج روابط إضافية من عناوين URL المجمّعة — المراسي، والسكربتات، وأوراق الأنماط، وإجراءات النماذج، والإطارات المدمجة، والصور، ومصادر الوسائط، والكائنات، والتضمينات، وأهداف meta-refresh
  • استخراج أجسام الاستجابات المؤرشفة لعناوين URL المجمّعة (--archive-body)، بحيث تُسلّم الصفحات التي لم تعد موجودة الروابط التي كانت تحتويها — طلب واحد لكل جسم مميّز، بفضل إزالة تكرار digest الخاص بـ CDX
  • مع --extract-js-endpoints، استخراج JavaScript المؤرشف أيضًا: حزمة مسماة بتجزئة البناء تُرجع 404 لحظة إعادة نشر الموقع، والأرشيف هو المكان الوحيد الذي لا يزال سطح API الخاص بها موجودًا فيه
  • الاحتفاظ بالأجسام المُعاد تشغيلها (--archive-body-dir) كمجموعة نصية للبحث عمّا لا يبحث عنه أي مستخرج روابط — تعليقات المطورين، وبيانات الاعتماد المضمّنة، وأسماء المضيفين الداخلية — دون طلبات إضافية
  • توسيع مواصفات API (--expand-specs): مستندات OpenAPI 3.x وSwagger 2.0 واستقصاء GraphQL، بصيغة JSON أو YAML، تُحوَّل إلى كل مسار تصفه — طلب واحد يشتري السطح الموثّق بالكامل
  • بيانات وصفية للاستجابة: يسجّل --check-status أيضًا Location وContent-Length وContent-Type، ويضيف --check-title وسم HTML <title>
• اكتشاف robots.txt وsitemap.xml المؤرشفين (--archived-discovery): كل نسخة مميّزة يحتفظ بها Wayback Machine، بحيث لا يزال Disallow: من عام 2015 يسمّي المسارات التي توقّف الموقع عن ذكرها منذ ذلك الحين
• التخزين المؤقت والفحص التدريجي:
  • تخزين مؤقت محلي بـ SQLite أو بعيد بـ Redis لتجنّب إعادة فحص النطاقات
  • وضع تدريجي لاكتشاف عناوين URL الجديدة فقط منذ آخر فحص
  • مدة صلاحية قابلة للتكوين للتخزين المؤقت وتنظيف تلقائي للمدخلات المنتهية الصلاحية
  • أمر فرعي urx cache لفحص التخزين المؤقت وصيانته: stats، list، prune، drop <domain>، clear

التثبيت

من Cargo```bash

https://crates.io/crates/urx

cargo install urx

### من Homebrew```bash
# https://formulae.brew.sh/formula/urx
brew install urx

من المصدر```bash

git clone https://github.com/hahwul/urx.git cd urx cargo build --release

سيكون الملف التنفيذي المُجمَّع متاحًا في `target/release/urx`.

### من Docker

[ghcr.io/hahwul/urx](https://github.com/hahwul/urx/pkgs/container/urx)

### إكمال الصدفة

يولّد `urx` نص الإكمال الخاص به، لذا فهو يتطابق دائمًا مع أعلام
الملف التنفيذي المثبَّت لديك فعليًا.```bash
# zsh — any directory on your $fpath works
urx --completions zsh > ~/.zfunc/_urx
# (make sure ~/.zfunc is on the fpath, then `compinit`)

# bash
urx --completions bash > ~/.local/share/bash-completion/completions/urx

# fish
urx --completions fish > ~/.config/fish/completions/urx.fish

powershell و elvish مدعومان أيضًا. لا يحتاج هذا الخيار إلى نطاق هدف.

صفحة الدليل```bash

urx --manpage > ~/.local/share/man/man1/urx.1 man urx

## الاستخدام

### الاستخدام الأساسي```bash
# Scan a single domain
urx example.com

# Scan multiple domains
urx example.com example.org

# Scan domains from a file
cat domains.txt | urx

الخيارات```

Usage: urx [OPTIONS] [DOMAINS]... [COMMAND]

Commands: cache Inspect and maintain the URL cache: stats, list, prune, drop ..., clear

Arguments: [DOMAINS]... Domains to fetch URLs for