TorCrawl.py

ما الذي يجعله بسيطًا وسهل الاستخدام؟

إذا كنت من محبي الطرفية (terminal) فأنت تعلم أن الأمور يجب أن تكون بسيطة وواضحة. تمرير المخرجات إلى أدوات أخرى أمر ضروري والدقة هي المفتاح.

باستخدام وسيط واحد فقط، يمكنك قراءة صفحة ويب .onion أو صفحة عادية، عبر شبكة TOR، وباستخدام الأنابيب (pipes) يمكنك تمرير المخرجات إلى أي أداة أخرى تفضلها.

$ torcrawl -u http://www.github.com/ | grep 'google-analytics'
    <meta-name="google-analytics" content="UA-XXXXXX- "> 

إذا كنت تريد الزحف إلى روابط صفحة ويب، فاستخدم -c وBAM ستحصل على جميع الروابط الداخلية في ملف. يمكنك حتى استخدام -d للزحف إليها وهكذا. يمكنك أيضًا استخدام الوسيط -p للانتظار بضع ثوانٍ قبل الزحف التالي.

$ torcrawl -v -u http://www.github.com/ -c -d 2 -p 2
# TOR is ready!
# URL: http://www.github.com/
# Your IP: XXX.XXX.XXX.XXX
# Crawler started from http://www.github.com/ with 2 depth crawl and 2 second(s) delay:
# Step 1 completed with: 11 results
# Step 2 completed with: 112 results
# File created on /path/to/project/links.txt

[!TIP]
الزحف ليس غير قانوني، لكن انتهاك حقوق النشر هو كذلك. من الأفضل دائمًا التحقق من الشروط والأحكام الخاصة بالموقع قبل البدء في الزحف إليه. بعض المواقع تُعِدّ ما يُسمى robots.txt لإخبار برامج الزحف بعدم زيارة تلك الصفحات.
سيتيح لك هذا الزاحف تجاوز ذلك، لكننا نوصي دائمًا باحترام robots.txt.

---

التثبيت

التثبيت السهل:

• من [PyPi][pypi-package]:
  pip install torcrawl
• باستخدام homebrew:
  قريبًا...

التثبيت اليدوي:

1. استنسخ هذا المستودع:
   git clone https://github.com/MikeMeliz/TorCrawl.py.git
2. ثبّت التبعيات:
   pip install -r requirements.txt
3. ثبّت خدمة TOR وابدأها:
   1. Debian/Ubuntu:
      apt-get install tor
service tor start
   2. Windows: نزّل [tor.exe][tor-download]، ثم:
      tor.exe --service install
tor.exe --service start
   3. MacOS:
      brew install tor
brew services start tor
   4. للتوزيعات المختلفة، قم بزيارة:
      [TOR Setup Documentation][tor-docs]

الوسائط

الوسيطة	الطويلة	الوصف
عام:
-h	--help	رسالة المساعدة
-v	--verbose	عرض مزيد من المعلومات حول التقدم
-u	--url *.onion	عنوان URL لصفحة الويب المراد الزحف إليها أو استخراجها
-w	--without	بدون استخدام شبكة TOR
-rua	--random-ua	تفعيل التدوير العشوائي لوكيل المستخدم للطلبات
-rpr	--random-proxy	تفعيل التدوير العشوائي للوكيل من res/proxies.txt (يتطلب علامة -w، وكيل واحد لكل سطر، التنسيق: host:port)
-px	--proxy	عنوان IP لوكيل SOCKS5 (الافتراضي: 127.0.0.1 لاستخدام TOR)
-pr	--proxyport	منفذ وكيل SOCKS5 (الافتراضي: 9050)
-f	--folder	الدليل الذي سيحتوي على الملفات المُنشأة
-V	--version	عرض الإصدار والخروج
استخراج:
-e	--extract	استخراج كود الصفحة إلى الطرفية أو ملف (الافتراضي: الطرفية)
-i	--input filename	ملف الإدخال الذي يحتوي على عنوان URL (عناوين) (مفصولة بسطر)
-o	--output [filename]	إخراج الصفحة (الصفحات) إلى ملف (ملفات) (لصفحة واحدة)
-y	--yara	إجراء بحث بكلمة مفتاحية yara: h = البحث في كائن html بالكامل، t = البحث في النص فقط
زحف:
-c	--crawl	الزحف إلى موقع الويب (الإخراج الافتراضي في website/links.txt)
-d	--depth	تعيين عمق تنقل الزاحف (الافتراضي: 1)
-p	--pause	ثوانٍ من التوقف بين الطلبات (الافتراضي: 0)
-j	--json	تصدير نتائج الزحف إلى JSON بالإضافة إلى مخرجات txt
-x	--xml	تصدير نتائج الزحف إلى XML بالإضافة إلى مخرجات txt
-DB	--database	تصدير نتائج الزحف ورسم الروابط إلى قاعدة بيانات SQLite
-vis	--visualization	إنشاء تصور HTML من قاعدة بيانات SQLite (يتطلب -DB)
-l	--log	ملف سجل بعناوين URL التي تمت زيارتها ورمز الاستجابة الخاص بها

الاستخدام والأمثلة

كأداة استخراج:

لاستخراج صفحة ويب واحدة فقط إلى الطرفية:

$ python torcrawl.py -u http://www.github.com
<!DOCTYPE html>
...
</html>

استخرج إلى ملف (github.htm) دون استخدام TOR:

$ python torcrawl.py -w -u http://www.github.com -o github.htm
## File created on /script/path/github.htm

استخرج إلى الطرفية وابحث فقط عن السطر الذي يحتوي على google-analytics:

$ python torcrawl.py -u http://www.github.com | grep 'google-analytics'
    <meta name="google-analytics" content="UA-*******-*">

استخرج إلى ملف وابحث فقط عن السطر الذي يحتوي على google-analytics باستخدام yara:

$ python torcrawl.py -v -w -u https://github.com -e -y 0
...

ملاحظة: حدّث res/keyword.yar للبحث عن كلمات مفتاحية أخرى. استخدم -y 0 للبحث في html الخام و-y 1 للبحث في النص فقط.

استخراج مجموعة من صفحات الويب (المستوردة من ملف) إلى الطرفية:

$ python torcrawl.py -i links.txt
...

كزاحف:

تتبع روابط صفحة الويب دون استخدام TOR، وأظهر أيضًا مخرجات مطوّلة (مفيدة جدًا):

$ python torcrawl.py -v -w -u http://www.github.com/ -c
## URL: http://www.github.com/
## Your IP: *.*.*.*
## Crawler Started from http://www.github.com/ with step 1 and wait 0
## Step 1 completed with: 11 results
## File created on /script/path/links.txt

تتبع صفحة الويب بعمق 2 (نقرتان) وانتظار 5 ثوانٍ قبل تتبع الصفحة التالية: