dcrawl

dcrawl هو زاحف ويب بسيط لكن ذكي، متعدد الخيوط، لجمع قوائم ضخمة عشوائية من أسماء النطاقات الفريدة.

كيف يعمل؟

يأخذ dcrawl رابط موقع واحد كمدخل، ويكتشف جميع الروابط <a href=...> في جسم الموقع. يتم وضع كل رابط تم العثور عليه في قائمة الانتظار. بعد ذلك، يتم زحف كل رابط في قائمة الانتظار بنفس الطريقة، متفرعًا إلى المزيد من عناوين URL الموجودة في الروابط الموجودة على جسم كل موقع.

كيف تعمل الزحف الذكي:

• التفرع فقط إلى عدد محدد مسبقًا من الروابط الموجودة لكل اسم مضيف.
• الحد الأقصى لعدد أسماء المضيفين المختلفة المسموح بها لكل نطاق (يتجنب جحيم زحف النطاقات الفرعية مثل blogspot.com).
• يمكن إعادة التشغيل بنفس قائمة النطاقات - تتم إضافة آخر النطاقات المحفوظة إلى قائمة انتظار URL.
• يزحف فقط إلى المواقع التي تُرجع نوع المحتوى text/html في استجابة HEAD.
• يسترجع جسم الموقع بحجم أقصى 1 ميغابايت.
• لا يحفظ النطاقات التي لا يمكن الوصول إليها.

كيفية التشغيل؟

go build dcrawl.go
./dcrawl -url http://wired.com -out ~/domain_lists/domains1.txt -t 8

الاستخدام

     ___                          __
  __| _/________________ __  _  _|  |
 / __ |/ ___\_  __ \__  \\ \/ \/ /  |
/ /_/ \  \___|  | \// __ \\     /|  |__
\____ |\___  >__|  (____  /\/\_/ |____/
     \/    \/           \/       v.1.0

الاستخدام: dcrawl -url URL -out OUTPUT_FILE -t THREADS

  -ms int
        الحد الأقصى للنطاقات الفرعية المختلفة لنطاق واحد (الإفتراضي 10) (default 10)
  -mu int
        الحد الأقصى لعدد الروابط التي يتم زحفها لكل اسم مضيف (الإفتراضي 5) (default 5)
  -out string
        ملف الإخراج لحفظ أسماء المضيفين فيه
  -t int
        عدد الخيوط المتزامنة (الإفتراضي 8) (default 8)
  -url string
        URL لبدء الزحف منه
  -v bool
        الوضع المفصل (الإفتراضي false)

الترخيص

dcrawl من صنع Kuba Gretzky من breakdev.org وتم إصداره بموجب ترخيص MIT.