Evine

इंटरैक्टिव CLI वेब क्रॉलर.

Evine एक सरल, तेज़ और इंटरैक्टिव वेब क्रॉलर और वेब स्क्रैपर है जो Golang में लिखा गया है। Evine विभिन्न उद्देश्यों जैसे मेटाडेटा और डेटा निष्कर्षण, डेटा माइनिंग, टोही और परीक्षण के लिए उपयोगी है।

यदि आपको प्रोजेक्ट पसंद आए, तो इसे एक स्टार दें। इससे मुझे प्रोजेक्ट विकसित करने के लिए प्रेरणा मिलती है!

स्थापित करें

बाइनरी से

पूर्व-निर्मित बाइनरी रिलीज़ भी उपलब्ध हैं (सुझावित)।

स्रोत से

go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -h

GitHub से

git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --help

नोट: golang 1.13.x आवश्यक है।

कमांड और उपयोग

evine -h

यह टूल के लिए सहायता प्रदर्शित करेगा:

दृश्य

• URL, इस दृश्य में, आपको URL स्ट्रिंग दर्ज करनी चाहिए।
• विकल्प, यह दृश्य विकल्प सेट करने के लिए है।
• हेडर, यह दृश्य HTTP हेडर सेट करने के लिए है।
• क्वेरी, इस दृश्य का उपयोग वेब क्रॉल करने के बाद किया जाता है। इसका उपयोग क्रॉल किए गए वेब पृष्ठों से डेटा (दस्तावेज़, URL, आदि) निकालने के लिए किया जाएगा।
• रेगेक्स, यह दृश्य क्रॉल किए गए वेब पृष्ठों में रेगेक्स खोजने के लिए उपयोगी है। अपना रेगेक्स इस दृश्य में लिखें और Enter दबाएँ।
• प्रतिक्रिया, सभी परिणाम इस दृश्य में लिखे जाते हैं।
• खोज, इस दृश्य का उपयोग प्रतिक्रिया दृश्य सामग्री में रेगेक्स खोजने के लिए किया जाता है।

निष्कर्षण विधियाँ

कुंजियों से

कुंजियाँ पूर्वनिर्धारित कीवर्ड हैं जिनका उपयोग इन-स्कोप URL, आउट-स्कोप URL, ईमेल आदि जैसे डेटा निर्दिष्ट करने के लिए किया जा सकता है। सभी कुंजियों की सूची:

• url, इन-स्कोप URL निकालने के लिए। URL पूरी तरह से साफ़ किए गए हैं।
• email, इन-स्कोप और आउट-स्कोप ईमेल निकालने के लिए।
• query_urls, ऐसे इन-स्कोप URL निकालने के लिए जिनमें GET क्वेरी है: ?foo=bar।
• all_urls, आउट-स्कोप URL निकालने के लिए।
• phone, a[href] निकालने के लिए जिसमें फ़ोन नंबर हो।
• media, उन फ़ाइलों को निकालने के लिए जो वेब निष्पादन योग्य फ़ाइल नहीं हैं। जैसे .exe,.bat,.tar.xz,.zip आदि पते।
• css, CSS फ़ाइलें निकालने के लिए।
• script, JavaScript फ़ाइलें निकालने के लिए।
• cdn, सामग्री वितरण नेटवर्क (CDN) पते निकालने के लिए। जैसे //api.foo.bar/jquery.min.js
• comment, HTML टिप्पणियाँ निकालने के लिए, <!-- .* !-->
• dns, उपडोमेन निकालने के लिए जो वेबसाइट से संबंधित हैं।
• network, सोशल नेटवर्क आईडी निकालने के लिए। जैसे facebook, twitter आदि।
• all, सभी कुंजियों की सूची निकालने के लिए (url,query_url,..) कुंजियाँ केस-सेंसिटिव हैं। इसे अल्पविराम से अलग करके दो या तीन कुंजियाँ भी लिखी जा सकती हैं।

एक्सटेंशन से

शायद आप एक ऐसी फ़ाइल चाहते हैं जो कुंजियों में परिभाषित नहीं है। आप क्या कर सकते हैं? आप क्वेरी दृश्य पर फ़ाइल का एक्सटेंशन आसानी से लिख सकते हैं। जैसे png,xml,txt,docx,xlsx,a,mp3 आदि।

JQuery सेलेक्टर से

यदि आपके पास बुनियादी JQuery कौशल हैं, तो आप इस सुविधा का आसानी से उपयोग कर सकते हैं, लेकिन यदि नहीं, तो यह बहुत कठिन नहीं है। सेलेक्टर्स पर त्वरित दृष्टिकोण के लिए w3schools एक बढ़िया स्रोत है।
उदाहरण (source[src] खोजने के लिए):

$("source").attr("src") // सभी source[src] URL खोजने के लिए
$("h1").text() // h1 मान खोजने के लिए

टेम्पलेट:

$("SELECTOR").METHOD_NAME("arg")

यह नीचे दिए गए जैसी क्वेरी का समर्थन नहीं करता:

$('SELECTOR').METHOD("arg")
$('SELECTOR').METHOD('arg')
$("SELECTOR"  ).METHOD("arg" )

विधियाँ नीचे वर्णित हैं:

• text(), HTML टैग के बिना SELECTOR की सामग्री लौटाता है।
• html(), HTML टैग के साथ SELECTOR की सामग्री लौटाता है।
• attr("ATTR"), SELECTOR की विशेषता प्राप्त करने के लिए। जैसे $("a").attr("href")

बग या सुझाव

बग या सुझाव रिपोर्ट करने के लिए, एक इश्यू बनाएँ।

Evine wuzz से काफी प्रेरित है।