nmalcolm/inventusInventus एक स्पाइडर है जिसे किसी विशिष्ट डोमेन के सबडोमेन खोजने के लिए डिज़ाइन किया गया है, जो उस डोमेन और उसके द्वारा खोजे गए किसी भी सबडोमेन को क्रॉल करता है।
Inventus एक स्पाइडर है जो किसी विशिष्ट डोमेन और उसके द्वारा खोजे गए किसी भी उपडोमेन को क्रॉल करके उपडोमेन ढूंढने के लिए डिज़ाइन किया गया है। यह एक Scrapy स्पाइडर है, जिसका अर्थ है कि इसे आसानी से संशोधित और आपकी आवश्यकताओं के अनुसार विस्तारित किया जा सकता है।
Inventus चलाने से पहले Scrapy को स्थापित करना आवश्यक है। सबसे पहले, रेपो को क्लोन करें और उसमें प्रवेश करें।
$ git clone https://github.com/nmalcolm/Inventus
$ cd Inventus
अब pip का उपयोग करके आवश्यक निर्भरताएँ स्थापित करें।
$ pip install -r requirements.txt
यदि स्थापना सफल रही, तो Inventus उपयोग के लिए तैयार होना चाहिए।
Inventus का सबसे बुनियादी उपयोग इस प्रकार है:
$ cd Inventus
$ scrapy crawl inventus -a domain=facebook.com
यह Scrapy को बताता है कि किस स्पाइडर का उपयोग करना है (इस मामले में "inventus"), और स्पाइडर को डोमेन पास करता है। कोई भी उपडोमेन मिलने पर STDOUT पर भेज दिया जाएगा।
अन्य कस्टम पैरामीटर subdomain_limit है। यह बंद होने से पहले खोजे जाने वाले उपडोमेन की अधिकतम सीमा निर्धारित करता है। डिफ़ॉल्ट मान 10000 है, लेकिन यह कठोर सीमा नहीं है।
$ scrapy crawl inventus -a domain=facebook.com -a subdomain_limit=100
डेटा निर्यात कई तरीकों से किया जा सकता है। सबसे आसान तरीका STDOUT को एक फ़ाइल में रीडायरेक्ट करना है।
$ scrapy crawl inventus -a domain=facebook.com > facebook.txt
Scrapy में एक अंतर्निहित सुविधा है जो आपको आइटम को CSV, JSON और XML सहित विभिन्न प्रारूपों में निर्यात करने की अनुमति देती है। वर्तमान में केवल उपडोमेन निर्यात किए जाएंगे, हालांकि भविष्य में यह बदल सकता है।
$ scrapy crawl inventus -a domain=facebook.com -t csv -o Facebook.csv
Inventus के व्यवहार के लिए कॉन्फ़िगरेशन किए जा सकते हैं। डिफ़ॉल्ट रूप से Inventus robots.txt को अनदेखा करेगा, 30 सेकंड का टाइमआउट रखेगा, क्रॉल डेटा को 24 घंटे के लिए कैश करेगा, क्रॉल गहराई 5 रखेगा, और Scrapy के AutoThrottle एक्सटेंशन का उपयोग करेगा। इन्हें और अधिक को inventus_spider/settings.py फ़ाइल को संपादित करके बदला जा सकता है। Scrapy की सेटिंग्स भी अच्छी तरह से प्रलेखित हैं।
उपरोक्त में से किसी के लिए भी एक नया मुद्दा खोलने में संकोच न करें। Inventus केवल कुछ घंटों में बनाया गया था और इसमें बग होने की संभावना है। आप Twitter पर भी मुझसे जुड़ सकते हैं।
MIT लाइसेंस के तहत जारी किया गया। LICENSE देखें।