Evine

زاحف ويب تفاعلي لواجهة الأوامر (CLI).

إيفين هو زاحف ويب ومستخرج بيانات ويب بسيط وسريع وتفاعلي، مكتوب بلغة Golang. إيفين مفيد لمجموعة واسعة من الأغراض مثل استخراج البيانات الوصفية والبيانات، وتنقيب البيانات، والاستطلاع، والاختبار.

إذا أعجبك المشروع، قم بإعطائه نجمة. فهذا يجبرني على تطويره!

التثبيت

من الملف الثنائي الجاهز

الإصدارات الثنائية مسبقة البناء متاحة أيضًا (موصى به).

من المصدر

go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -h

من GitHub

git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --help

ملاحظة: مطلوب golang 1.13.x.

الأوامر والاستخدام

evine -h

سيعرض مساعدة الأداة:

المشاهدات

• الرابط (URL)، في هذا المشهد، يجب إدخال سلسلة الرابط.
• الخيارات (Options)، هذا المشهد مخصص لتعيين الخيارات.
• الرؤوس (Headers)، هذا المشهد مخصص لتعيين رؤوس HTTP.
• الاستعلام (Query)، يُستخدم هذا المشهد بعد زحف الويب. سيُستخدم لاستخراج البيانات (المستندات، الروابط، إلخ) من صفحات الويب التي تم زحفها.
• التعبير النمطي (Regex)، هذا المشهد مفيد للبحث عن التعبيرات النمطية في صفحات الويب التي تم زحفها. اكتب تعبيرك النمطي في هذا المشهد واضغط Enter.
• الاستجابة (Response)، جميع النتائج تُكتب في هذا المشهد.
• البحث (Search)، يُستخدم هذا المشهد للبحث عن التعبيرات النمطية في محتوى مشهد الاستجابة.

طرق الاستخراج

من المفاتيح

المفاتيح هي كلمات مفتاحية محددة مسبقًا يمكن استخدامها لتحديد البيانات مثل الروابط ضمن النطاق، الروابط خارج النطاق، البريد الإلكتروني، إلخ. قائمة بجميع المفاتيح:

• url, لاستخراج الروابط ضمن النطاق. الروابط منقاة بالكامل.
• email, لاستخراج رسائل البريد الإلكتروني ضمن النطاق وخارجه.
• query_urls, لاستخراج الروابط ضمن النطاق التي تحتوي على استعلام GET: ?foo=bar.
• all_urls, لاستخراج الروابط خارج النطاق.
• phone, لاستخراج عناصر a[href] التي تحتوي على رقم هاتف.
• media, لاستخراج الملفات غير القابلة للتنفيذ على الويب. مثل عناوين .exe,.bat,.tar.xz,.zip، إلخ.
• css, لاستخراج ملفات CSS.
• script, لاستخراج ملفات JavaScript.
• cdn, لاستخراج عناوين شبكات توصيل المحتوى (CDN). مثل //api.foo.bar/jquery.min.js
• comment, لاستخراج تعليقات HTML، <!-- .* !-->
• dns, لاستخراج النطاقات الفرعية التابعة للموقع.
• network, لاستخراج معرفات شبكات التواصل الاجتماعي. مثل فيسبوك، تويتر، إلخ.
• all, لاستخراج قائمة جميع المفاتيح (url, query_url, ..). المفاتيح حساسة لحالة الأحرف. كما يمكن كتابة مفتاحين أو ثلاثة مفاتيح مفصولة بفاصلة.

من الامتدادات

ربما تريد ملفًا غير معرّف في المفاتيح. ماذا يمكنك أن تفعل؟ يمكنك بسهولة كتابة امتداد الملف في مشهد الاستعلام. مثل png, xml, txt, docx, xlsx, a, mp3، إلخ.

من منتقي JQuery

إذا كانت لديك مهارات أساسية في JQuery، يمكنك استخدام هذه الميزة بسهولة، ولكن إذا لم تكن لديك، فهي ليست صعبة جدًا. للحصول على نظرة سريعة حول المنتقيات، w3schools مصدر رائع. مثال (للبحث عن source[src]):

$("source").attr("src") // To find all of source[src] urls
$("h1").text() // To find h1 values

قالب:

$("SELECTOR").METHOD_NAME("arg")

لا يدعم الاستعلامات مثل التالية:

$('SELECTOR').METHOD("arg")
$('SELECTOR').METHOD('arg')
$("SELECTOR"  ).METHOD("arg" )

الطرق موصوفة أدناه:

• text(), لإرجاع محتوى المنتقئ بدون وسم HTML.
• html(), لإرجاع محتوى المنتقئ مع وسم HTML.
• attr("ATTR") للحصول على السمة الخاصة بالمنتقئ. مثال: $("a").attr("href")

الأخطاء أو الاقتراحات

للإبلاغ عن الأخطاء أو الاقتراحات، قم بإنشاء تذكرة.

إيفين مستوحى بشكل كبير من wuzz.