go get -u github.com/iamstoxe/urlgrab

Usage of urlgrab:
  -cache-dir string
        حدد دليلاً لاستخدام التخزين المؤقت. يعمل بين الجلسات أيضًا.
  -debug
        إخراج تصحيح طويل جدًا. مفيد بشكل أساسي للتطوير.
  -delay int
        المللي ثانية للتطبيق العشوائي كتأخير بين الطلبات. (الافتراضي 2000)
  -depth int
        الحد الأقصى لعمق التكرار لعناوين URL التي تمت زيارتها. (الافتراضي 2)
  -headless
        إذا كان صحيحًا، سيتم عرض المتصفح أثناء الزحف.
        ملاحظة: يتطلب علم render-js
        ملاحظة: الاستخدام لإظهار المتصفح: --headless=false (الافتراضي true)
  -ignore-query
        قم بإزالة جزء الاستعلام من عنوان URL قبل تحديد ما إذا قمنا بزيارته أم لا.
  -ignore-ssl
        استخرج الصفحات بشهادات SSL غير صالحة.
  -js-timeout int
        عدد الثواني قبل انتهاء مهلة طلب عرض جافاسكريبت. (الافتراضي 10)
  -json string
        اسم الملف حيث يجب تخزين ملف JSON الناتج.
  -max-body int
        الحد الأقصى لحجم نص الاستجابة المستلمة بالكيلوبايت.
        0 يعني غير محدود.
        قدم هذه القيمة بالكيلوبايت. (مثال: 10 * 1024 كيلوبايت = 10 ميجابايت) (الافتراضي 10240)
  -no-head
        لا ترسل طلبات HEAD قبل GET للتحقق المسبق.
  -output-all string
        الدليل حيث يجب تخزين ملفات الإخراج.
  -proxy string
        وكيل SOCKS5 لاستخدامه (التنسيق: socks5://127.0.0.1:8080 أو http://127.0.0.1:8080).
        قدم عدة وكلاء بفصلهم بفاصلة.
  -random-agent
        استخدم سلسلة وكيل مستخدم عشوائية.
  -render-js
        يحدد ما إذا كنا نستخدم مثيل كروم بدون واجهة لعرض جافاسكريبت.
  -root-domain string
        النطاق الجذري الذي يجب مطابقة الروابط ضده.
        إذا لم يتم تحديده، فسيكون افتراضيًا لمضيف --url.
        مثال: --root-domain google.com
  -threads int
        عدد الخيوط التي سيتم استخدامها. (الافتراضي 5)
  -timeout int
        عدد الثواني قبل انتهاء مهلة الطلب. (الافتراضي 10)
  -url string
        عنوان URL حيث يجب بدء الزحف.
  -urls string
        مسار ملف يحتوي على قائمة بعناوين URL لتقديمها كعناوين بداية.
        يتطلب علم --root-domain.
  -user-agent string
        وكيل مستخدم مثل (Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0).
  -verbose
        إخراج مفصل.

make build

make cross