Crawlector

Crawlector (नाम Crawlector Crawler और Detector का संयोजन है) एक खतरा-शिकार फ्रेमवर्क है जो वेबसाइटों में दुर्भावनापूर्ण वस्तुओं की स्कैनिंग के लिए डिज़ाइन किया गया है।

नोट-1: इस फ्रेमवर्क को पहली बार 22 अक्टूबर, 2022 को इटली के बर्गमो में No Hat सम्मेलन में प्रस्तुत किया गया था (स्लाइड्स, YouTube रिकॉर्डिंग)। साथ ही, इसे दूसरी बार 2 दिसंबर, 2022 को सिंगापुर में AVAR सम्मेलन में प्रस्तुत किया गया।

नोट-2: साथ में दिया गया टूल EKFiddle2Yara (एक ऐसा टूल जो EKFiddle नियमों को लेकर उन्हें Yara नियमों में बदलता है) जिसका उल्लेख वार्ता में किया गया था, दोनों सम्मेलनों में जारी किया गया था।

नोट-3: संस्करण 2.0 (Photoid Build:180923), एक मील का पत्थर रिलीज़, 18 सितंबर, 2023 को जारी किया गया था।

नोट-4: संस्करण 2.1 (Universe-647 Build:031023) 03 अक्टूबर, 2023 को जारी किया गया था। एक प्रमुख जोड़ Slack अलर्ट सूचना सुविधा है।

नोट-5: संस्करण 2.2 (Hallstatt Build:051123) 05 नवंबर, 2023 को जारी किया गया था। एक प्रमुख जोड़ Slack रिमोट कंट्रोल सुविधा है।

नोट-6: संस्करण 2.3 (Munich Build:241123) 24 नवंबर, 2023 को जारी किया गया था। एक प्रमुख जोड़ DNS नेमसर्वर सुविधा है।

नोट-6: संस्करण 2.3.1 {Nero Build:131225} 13 दिसंबर, 2025 को जारी किया गया था। यह एक रखरखाव रिलीज़ है।

विशेषताएँ

• अतिरिक्त लिंक खोजने के लिए वेबसाइटों की स्पाइडरिंग का समर्थन करता है (केवल 2 स्तरों तक)
• नियम स्कैनिंग के लिए Yara को बैकएंड इंजन के रूप में एकीकृत करता है
• ऑनलाइन और ऑफलाइन स्कैनिंग का समर्थन करता है
• डोमेन/साइटों के डिजिटल प्रमाणपत्रों के लिए क्रॉलिंग का समर्थन करता है
• पृष्ठ पर दुर्भावनापूर्ण URL खोजने के लिए URLhaus से क्वेरी करने का समर्थन करता है
• डीप ऑब्जेक्ट एक्सट्रैक्शन (DOE)
• Slack अलर्ट सूचना
• HTTP रीडायरेक्शन के लिए पैरामीट्रिज्ड समर्थन
• Whois जानकारी प्राप्त करना
• TLSH (Trend Micro Locality Sensitive Hash) और md5, sha1, sha256, और ripemd128 जैसे अन्य मानक क्रिप्टोग्राफिक हैश फ़ंक्शनों के साथ पृष्ठ की सामग्री को हैश करने का समर्थन करता है
  • यदि पृष्ठ का आकार 50 बाइट्स से कम है, या डेटा में पर्याप्त यादृच्छिकता मौजूद नहीं है, तो TLSH कोई मान वापस नहीं करेगा
• प्रत्येक URL की रेटिंग और श्रेणी क्वेरी करने का समर्थन करता है
• एक ही डोमेन के लिए सभी उपलब्ध TLD और/या सबडोमेन खोजने का प्रयास करके किसी दिए गए साइट का विस्तार करने का समर्थन करता है
  • यह सुविधा Omnisint Labs API (यह साइट 10 मार्च, 2023 तक डाउन है) और RapidAPI APIs का उपयोग करती है
  • TLD विस्तार कार्यान्वयन मूल रूप से है
  • यह सुविधा, रेटिंग और वर्गीकरण के साथ, मूल डोमेन के लिए स्कैम/फ़िशिंग/दुर्भावनापूर्ण डोमेन खोजने की क्षमता प्रदान करती है
• डोमेन रिज़ॉल्यूशन (IPv4 और IPv6) का समर्थन करता है
• स्कैन की गई वेबसाइट पृष्ठों को बाद में स्कैन करने के लिए सहेजता है (ज़िप संपीड़ित के रूप में सहेजा जा सकता है)
• फ्रेमवर्क की सभी सेटिंग्स एक ही अनुकूलन योग्य कॉन्फ़िगरेशन फ़ाइल के माध्यम से नियंत्रित की जाती हैं
• सभी स्कैनिंग सत्र एक अच्छी तरह से संरचित CSV फ़ाइल में सहेजे जाते हैं, जिसमें स्कैन की जा रही वेबसाइट के बारे में ढेरों जानकारी के साथ-साथ ट्रिगर हुए Yara नियमों के बारे में जानकारी होती है
• कई अन्य सुविधाएँ...
• सभी HTTP(S) संचार प्रॉक्सी-अवेयर हैं
• एक एक्जीक्यूटेबल
• C++ में लिखा गया

URLHaus स्कैनिंग और API एकीकरण

यह प्रत्येक स्कैन किए जा रहे पृष्ठ के विरुद्ध दुर्भावनापूर्ण URLs की जाँच करने के लिए है। फ्रेमवर्क या तो URLHaus सर्वर से दुर्भावनापूर्ण URLs की सूची क्वेरी कर सकता है (कॉन्फ़िगरेशन: url_list_web), या डिस्क पर एक फ़ाइल से (कॉन्फ़िगरेशन: url_list_file), और यदि बाद वाला निर्दिष्ट है, तो यह पूर्व पर वरीयता लेता है।

यह url_list_web या url_list_file में सभी URL प्रविष्टियों के विरुद्ध प्रत्येक पृष्ठ की सामग्री की खोज करके काम करता है, सभी घटनाओं की जाँच करता है। इसके अतिरिक्त, एक मिलान पर, और यदि कॉन्फ़िगरेशन विकल्प check_url_api सही पर सेट है, तो Crawlector url_api कॉन्फ़िगरेशन विकल्प में सेट API URL पर एक POST अनुरोध भेजेगा, जो एक मिलान URL के बारे में अतिरिक्त जानकारी के साथ एक JSON ऑब्जेक्ट लौटाता है। ऐसी जानकारी में urlh_status (जैसे, online, offline, unknown), urlh_threat (जैसे, malware_download), urlh_tags (जैसे, elf, Mozi), और urlh_reference (जैसे, https://urlhaus.abuse.ch/url/1116455/) शामिल हैं। यह जानकारी लॉग फ़ाइल cl_mlog_<current_date><current_time><(pm|am)>.csv (नीचे देखें) में शामिल की जाएगी, केवल यदि check_url_api सही पर सेट है। अन्यथा, लॉग फ़ाइल में urlh_url (मिलान करने वाले दुर्भावनापूर्ण URLs की सूची) और urlh_hit (प्रत्येक मिलान करने वाले दुर्भावनापूर्ण URL के लिए घटनाओं की संख्या) कॉलम शामिल होंगे, बशर्ते check_url सही पर सेट हो।

URLHaus सुविधा को पूरी तरह से अक्षम किया जा सकता है, कॉन्फ़िगरेशन विकल्प check_url को गलत पर सेट करके।

यह ध्यान रखना महत्वपूर्ण है कि यह सुविधा स्कैनिंग को धीमा कर सकती है, क्योंकि जाँच किए जाने वाले दुर्भावनापूर्ण URLs की भारी संख्या (~ इस लेखन के समय लगभग 130 मिलियन प्रविष्टियाँ) और URLHaus सर्वर से अतिरिक्त जानकारी प्राप्त करने में लगने वाले समय (यदि विकल्प check_url_api सही पर सेट है) को ध्यान में रखा जाए।

फ़ाइलें और फ़ोल्डर संरचनाएँ

1. \cl_sites
   • यह वह जगह है जहाँ देखी जाने वाली या क्रॉल की जाने वाली साइटों की सूची संग्रहीत की जाती है।
   • एकाधिक फ़ाइलों और निर्देशिकाओं का समर्थन करता है।
2. \crawled
   • जहाँ सभी क्रॉल/स्पाइडर किए गए URLs एक टेक्स्ट फ़ाइल में सहेजे जाते हैं।
3. \certs
   • जहाँ सभी डोमेन/साइटों के डिजिटल प्रमाणपत्र संग्रहीत किए जाते हैं (.der प्रारूप में)।
4. \results
   • जहाँ देखी गई वेबसाइटें सहेजी जाती हैं। यह विकल्प results_dir के माध्यम से कॉन्फ़िगर करने योग्य है
5. \pg_cache
   • उन साइटों के लिए प्रोग्राम कैश जो स्पाइडर कार्यक्षमता का हिस्सा नहीं हैं। यह विकल्प cache_dir, अनुभाग [default] के माध्यम से कॉन्फ़िगर करने योग्य है।
6. \cl_cache
   • उन साइटों के लिए क्रॉलर कैश जो स्पाइडर कार्यक्षमता का हिस्सा हैं। यह विकल्प cache_dir, अनुभाग [spider] के माध्यम से कॉन्फ़िगर करने योग्य है।
7. \yara_rules
   • यह वह जगह है जहाँ सभी Yara नियम संग्रहीत हैं। इस निर्देशिका में मौजूद सभी नियम इंजन द्वारा लोड, पार्स, मान्य और निष्पादन से पहले मूल्यांकन किए जाएंगे।
8. cl_config.ini
   • इस फ़ाइल में सभी कॉन्फ़िगरेशन पैरामीटर हैं जिन्हें फ्रेमवर्क के व्यवहार को प्रभावित करने के लिए समायोजित किया जा सकता है।
9. cl_mlog_<current_date><current_time><(pm|am)>.csv
   • लॉग फ़ाइल जिसमें देखी गई वेबसाइटों के बारे में ढेरों जानकारी होती है
   • दिनांक, समय, Yara स्कैनिंग की स्थिति, प्रत्येक मिलान के ऑफ़सेट और लंबाई के साथ फायर किए गए Yara नियमों की सूची, आईडी, URL, HTTP स्थिति कोड, कनेक्शन स्थिति, HTTP हेडर, पृष्ठ का आकार, डिस्क पर सहेजे गए पृष्ठ का पथ, और URLHaus परिणामों से संबंधित अन्य कॉलम।
   • फ़ाइल का नाम प्रति सत्र अद्वितीय है।
10. cl_offl_mlog_<current_date><current_time><(pm|am)>.csv
    • लॉग फ़ाइल जिसमें ऑफलाइन स्कैन की गई फ़ाइलों के बारे में जानकारी होती है।
    • मिलानों के ऑफ़सेट और लंबाई के साथ फायर किए गए Yara नियमों की सूची, और डिस्क पर सहेजे गए पृष्ठ का पथ।
    • फ़ाइल का नाम प्रति सत्र अद्वितीय है।
11. cl_certs_<current_date><current_time><(pm|am)>.csv
    • लॉग फ़ाइल जिसमें पाए गए डिजिटल प्रमाणपत्रों के बारे में ढेरों जानकारी होती है
12. \expanded\exp_subdomain_<pm|am>.txt
    • खोजे गए सबडोमेन शामिल हैं ([site] अनुभाग का भाग)
13. \expanded\exp_tld_<pm|am>.txt
    • खोजे गए डोमेन शामिल हैं ([site] अनुभाग का भाग)

कॉन्फ़िगरेशन फ़ाइल (cl_config.ini)

कोई भी सत्र चलाने से पहले आपको कॉन्फ़िगरेशन फ़ाइल cl_config.ini से परिचित होना चाहिए। सभी अनुभागों और पैरामीटरों का दस्तावेज़ीकरण स्वयं कॉन्फ़िगरेशन फ़ाइल में किया गया है।