Crawlector

Crawlector (الاسم Crawlector هو مزيج من Crawler & Detector) هو إطار عمل لصيد التهديدات مصمم لفحص المواقع الإلكترونية بحثًا عن كائنات ضارة.

ملاحظة-1: تم تقديم الإطار لأول مرة في مؤتمر No Hat في بيرغامو، إيطاليا في 22 أكتوبر 2022 (الشرائح، تسجيل يوتيوب). كما تم تقديمه للمرة الثانية في مؤتمر AVAR في سنغافورة في 2 ديسمبر 2022.

ملاحظة-2: الأداة المصاحبة EKFiddle2Yara (وهي أداة تأخذ قواعد EKFiddle وتحولها إلى قواعد Yara) المذكورة في المحاضرة تم إصدارها أيضًا في كلا المؤتمرين.

ملاحظة-3: الإصدار 2.0 (Photoid Build:180923)، وهو إصدار رئيسي، تم إصداره في 18 سبتمبر 2023.

ملاحظة-4: الإصدار 2.1 (Universe-647 Build:031023) تم إصداره في 3 أكتوبر 2023. الإضافة الرئيسية هي ميزة إشعارات التنبيه عبر Slack.

ملاحظة-5: الإصدار 2.2 (Hallstatt Build:051123) تم إصداره في 5 نوفمبر 2023. الإضافة الرئيسية هي ميزة التحكم عن بعد عبر Slack.

ملاحظة-6: الإصدار 2.3 (Munich Build:241123) تم إصداره في 24 نوفمبر 2023. الإضافة الرئيسية هي ميزة خوادم أسماء DNS.

ملاحظة-6: الإصدار 2.3.1 {Nero Build:131225} تم إصداره في 13 ديسمبر 2025. هذا إصدار صيانة.

الميزات

• يدعم تصفح المواقع (Spidering) للعثور على روابط إضافية للمسح (حتى مستويين فقط)
• يدمج Yara كمحرك خلفي لفحص القواعد
• يدعم المسح عبر الإنترنت وغير المتصل
• يدعم التصفح (Crawling) للحصول على الشهادات الرقمية للمجالات/المواقع
• يدعم الاستعلام عن URLhaus للعثور على عناوين URL ضارة في الصفحة
• استخراج الكائنات العميق (Deep Object Extraction - DOE)
• إشعارات التنبيه عبر Slack
• دعم معلمات لإعادة التوجيه HTTP
• استرجاع معلومات Whois
• يدعم تجزئة محتوى الصفحة باستخدام TLSH (Trend Micro Locality Sensitive Hash)، ووظائف التجزئة التشفيرية القياسية الأخرى مثل md5 و sha1 و sha256 و ripemd128، وغيرها
  • لن يعيد TLSH قيمة إذا كان حجم الصفحة أقل من 50 بايت، أو إذا لم تكن هناك عشوائية كافية في البيانات
• يدعم الاستعلام عن تقييم وفئة كل عنوان URL
• يدعم التوسع في موقع معين من خلال محاولة العثور على جميع النطاقات عالية المستوى (TLDs) و/أو النطاقات الفرعية المتاحة لنفس المجال
  • تستخدم هذه الميزة واجهة برمجة تطبيقات Omnisint Labs (هذا الموقع معطل اعتبارًا من 10 مارس 2023) وواجهة برمجة تطبيقات RapidAPI
  • تنفيذ توسيع TLD هو تنفيذ أصلي
  • هذه الميزة، إلى جانب التقييم والتصنيف، توفر القدرة على العثور على مجالات احتيالية/تصيدية/ضارة للمجال الأصلي
• يدعم حل المجال (IPv4 و IPv6)
• يحفظ صفحات المواقع الممسوحة ضوئيًا للفحص لاحقًا (يمكن حفظها كملف مضغوط zip)
• يتم التحكم في كامل إعدادات الإطار عبر ملف تكوين واحد قابل للتخصيص
• يتم حفظ جميع جلسات المسح في ملف CSV منظم جيدًا يحتوي على ثروة من المعلومات حول الموقع الذي يتم مسحه، بالإضافة إلى معلومات حول قواعد Yara التي تم تفعيلها
• العديد من الميزات الأخرى...
• جميع اتصالات HTTP(S) تدعم الوكيل (Proxy-aware)
• ملف تنفيذي واحد
• مكتوب بلغة C++

مسح URLhaus وتكامل واجهة برمجة التطبيقات

هذا للتحقق من عناوين URL الضارة مقابل كل صفحة يتم مسحها. يمكن للإطار إما الاستعلام عن قائمة عناوين URL الضارة من خادم URLHaus (التكوين: url_list_web)، أو من ملف على القرص (التكوين: url_list_file)، وإذا تم تحديد الخيار الأخير، فإنه يأخذ الأولوية على الأول.

يعمل عن طريق البحث في محتوى كل صفحة مقابل جميع إدخالات URL في url_list_web أو url_list_file، والتحقق من جميع التكرارات. بالإضافة إلى ذلك، عند التطابق، وإذا تم تعيين خيار التكوين check_url_api على true، فإن Crawlector سيرسل طلب POST إلى عنوان URL لواجهة برمجة التطبيقات المحدد في خيار التكوين url_api، والذي يعيد كائن JSON بمعلومات إضافية حول عنوان URL المطابق. تتضمن هذه المعلومات urlh_status (مثل online, offline, unknown)، urlh_threat (مثل malware_download)، urlh_tags (مثل elf, Mozi)، و urlh_reference (مثل https://urlhaus.abuse.ch/url/1116455/). سيتم تضمين هذه المعلومات في ملف السجل cl_mlog_<current_date><current_time><(pm|am)>.csv (انظر أدناه)، فقط إذا تم تعيين check_url_api على true. وإلا، سيشمل ملف السجل الأعمدة urlh_url (قائمة عناوين URL الضارة المطابقة) و urlh_hit (عدد التكرارات لكل عنوان URL ضار مطابق)، بشرط أن يكون check_url مضبوطًا على true.

يمكن تعطيل ميزة URLHaus بالكامل عن طريق تعيين خيار التكوين check_url على false.

من المهم ملاحظة أن هذه الميزة قد تبطئ المسح، نظرًا للعدد الهائل من عناوين URL الضارة (~ 130 مليون إدخال وقت كتابة هذا) التي يجب التحقق منها، والوقت المستغرق للحصول على معلومات إضافية من خادم URLHaus (إذا تم تعيين الخيار check_url_api على true).

هياكل الملفات والمجلدات

1. \cl_sites
   • هذا هو المكان الذي يتم فيه تخزين قائمة المواقع المراد زيارتها أو تصفحها.
   • يدعم ملفات وأدلة متعددة.
2. \crawled
   • حيث يتم حفظ جميع عناوين URL الممسوحة/المزحفة إلى ملف نصي.
3. \certs
   • حيث يتم تخزين جميع الشهادات الرقمية للمجالات/المواقع (بتنسيق .der).
4. \results
   • حيث يتم حفظ المواقع التي تمت زيارتها. يمكن تكوين ذلك عبر الخيار results_dir
5. \pg_cache
   • ذاكرة تخزين مؤقت للبرنامج للمواقع التي ليست جزءًا من وظيفة الزحف (Spider). يمكن تكوين ذلك عبر الخيار cache_dir، القسم [default].
6. \cl_cache
   • ذاكرة تخزين مؤقت للزاحف للمواقع التي هي جزء من وظيفة الزحف. يمكن تكوين ذلك عبر الخيار cache_dir، القسم [spider].
7. \yara_rules
   • هذا هو المكان الذي يتم فيه تخزين جميع قواعد Yara. سيتم تحميل جميع القواعد الموجودة في هذا الدليل بواسطة المحرك، وتحليلها، والتحقق من صحتها، وتقييمها قبل التنفيذ.
8. cl_config.ini
   • يحتوي هذا الملف على جميع معلمات التكوين التي يمكن تعديلها للتأثير على سلوك الإطار.
9. cl_mlog_<current_date><current_time><(pm|am)>.csv
   • ملف سجل يحتوي على ثروة من المعلومات حول المواقع التي تمت زيارتها
   • التاريخ، الوقت، حالة فحص Yara، قائمة قواعد Yara التي تم تفعيلها مع الإزاحات والأطوال لكل تطابق، المعرف، عنوان URL، رمز حالة HTTP، حالة الاتصال، رؤوس HTTP، حجم الصفحة، المسار إلى الصفحة المحفوظة على القرص، وأعمدة أخرى متعلقة بنتائج URLHaus.
   • اسم الملف فريد لكل جلسة.
10. cl_offl_mlog_<current_date><current_time><(pm|am)>.csv
    • ملف سجل يحتوي على معلومات حول الملفات الممسوحة ضوئيًا دون اتصال.
    • قائمة قواعد Yara التي تم تفعيلها مع الإزاحات والأطوال للتطابقات، والمسار إلى الصفحة المحفوظة على القرص.
    • اسم الملف فريد لكل جلسة.
11. cl_certs_<current_date><current_time><(pm|am)>.csv
    • ملف سجل يحتوي على ثروة من المعلومات حول الشهادات الرقمية التي تم العثور عليها
12. \expanded\exp_subdomain_<pm|am>.txt
    • يحتوي على النطاقات الفرعية المكتشفة (جزء من القسم [site])
13. \expanded\exp_tld_<pm|am>.txt
    • يحتوي على المجالات المكتشفة (جزء من القسم [site])

ملف التكوين (cl_config.ini)

يجب أن تتعرف على ملف التكوين cl_config.ini قبل تشغيل أي جلسة. جميع الأقسام والمعلمات موثقة في ملف التكوين نفسه.

ميزة فحص Yara دون اتصال هي خيار مستقل، بمعنى أنه إذا تم تمكينها، سيقوم Crawlector بتنفيذ هذه الميزة فقط، بغض النظر عن الميزات الأخرى الممكّنة. وينطبق الشيء نفسه على ميزة الزحف للحصول على الشهادات الرقمية للمجالات/المواقع. على أي حال، يوصى بتعطيل جميع الميزات غير المستخدمة في ملف التكوين.

• اعتمادًا على إعدادات التكوين (log_to_file أو log_to_cons)، إذا كانت قاعدة Yara تشير فقط إلى سمات وحدة نمطية (مثل PE, ELF, Hash، إلخ)، فسيعرض Crawlector اسم القاعدة فقط عند التطابق، باستثناء بيانات الإزاحة والطول.

ملاحظة: لأي خيار يأخذ مسارًا، قدم دائمًا المسار المطلق.

تنسيق نمط المواقع

لزيارة/فحص موقع ويب، يجب تخزين قائمة عناوين URL في ملفات نصية، في الدليل “cl_sites”.

يقبل Crawlector ثلاثة أنواع من عناوين URL:

1. النوع 1: عنوان URL واحد لكل سطر
   • سيعين Crawlector اسمًا فريدًا لكل عنوان URL، مشتقًا من اسم مضيف عنوان URL
2. النوع 2: عنوان URL واحد لكل سطر، مع اسم فريد [a-zA-Z0-9_-]{1,128} = <url>
3. النوع 3: لوظيفة الزحف (Spider)، يتم استخدام تنسيق فريد. عنوان URL واحد لكل سطر كما يلي: