TorCrawl.py

इसे सरल और उपयोग में आसान क्या बनाता है?

यदि आप टर्मिनल के दीवाने हैं तो आप जानते हैं कि चीज़ें सरल और स्पष्ट होनी चाहिए। आउटपुट को अन्य टूल्स में पास करना आवश्यक है और सटीकता ही कुंजी है।

एक ही आर्ग्युमेंट के साथ, आप TOR नेटवर्क के माध्यम से एक .onion वेबपेज या एक सामान्य वेबपेज पढ़ सकते हैं और पाइप्स का उपयोग करके आप आउटपुट को अपनी पसंद के किसी भी अन्य टूल में पास कर सकते हैं।

$ torcrawl -u http://www.github.com/ | grep 'google-analytics'
    <meta-name="google-analytics" content="UA-XXXXXX- "> 

यदि आप किसी वेबपेज के लिंक क्रॉल करना चाहते हैं तो -c का उपयोग करें और BAM आपको एक फ़ाइल में सभी आंतरिक लिंक मिल जाएंगे। आप उन्हें क्रॉल करने के लिए -d का भी उपयोग कर सकते हैं और इसी तरह आगे भी। आप अगले क्रॉल से पहले कुछ सेकंड प्रतीक्षा करने के लिए -p आर्ग्युमेंट का भी उपयोग कर सकते हैं।

$ torcrawl -v -u http://www.github.com/ -c -d 2 -p 2
# TOR is ready!
# URL: http://www.github.com/
# Your IP: XXX.XXX.XXX.XXX
# Crawler started from http://www.github.com/ with 2 depth crawl and 2 second(s) delay:
# Step 1 completed with: 11 results
# Step 2 completed with: 112 results
# File created on /path/to/project/links.txt

[!TIP]
क्रॉलिंग अवैध नहीं है, लेकिन कॉपीराइट का उल्लंघन करना अवैध है। क्रॉलिंग शुरू करने से पहले किसी वेबसाइट के T&C की दोबारा जाँच करना हमेशा सबसे अच्छा होता है। कुछ वेबसाइटें robots.txt नामक फ़ाइल सेट करती हैं ताकि क्रॉलर को उन पेजों पर न जाने के लिए कहा जा सके।
यह क्रॉलर आपको इसके चारों ओर जाने देगा, लेकिन हम हमेशा robots.txt का सम्मान करने की सलाह देते हैं।

---

इंस्टॉलेशन

आसान इंस्टॉलेशन:

• [PyPi][pypi-package] से:
  pip install torcrawl
• homebrew के साथ:
  जल्द आ रहा है...

मैन्युअल इंस्टॉलेशन:

1. इस रिपॉज़िटरी को क्लोन करें:
   git clone https://github.com/MikeMeliz/TorCrawl.py.git
2. डिपेंडेंसी इंस्टॉल करें:
   pip install -r requirements.txt
3. TOR सेवा इंस्टॉल करें और शुरू करें:
   1. Debian/Ubuntu:
      apt-get install tor
service tor start
   2. Windows: [tor.exe][tor-download] डाउनलोड करें, और:
      tor.exe --service install
tor.exe --service start
   3. MacOS:
      brew install tor
brew services start tor
   4. विभिन्न डिस्ट्रोस के लिए, यहाँ जाएँ:
      [TOR सेटअप दस्तावेज़][tor-docs]

आर्ग्युमेंट्स

arg	Long	विवरण
सामान्य:
-h	--help	सहायता संदेश
-v	--verbose	प्रगति के बारे में अधिक जानकारी दिखाएं
-u	--url *.onion	क्रॉल या एक्सट्रैक्ट करने के लिए वेबपेज का URL
-w	--without	TOR नेटवर्क का उपयोग किए बिना
-rua	--random-ua	अनुरोधों के लिए रैंडम user-agent रोटेशन सक्षम करें
-rpr	--random-proxy	res/proxies.txt से रैंडम प्रॉक्सी रोटेशन सक्षम करें (-w फ़्लैग आवश्यक, प्रति पंक्ति एक प्रॉक्सी, प्रारूप: host:port)
-px	--proxy	SOCKS5 प्रॉक्सी के लिए IP पता (डिफ़ॉल्ट: TOR का उपयोग करने के लिए 127.0.0.1)
-pr	--proxyport	SOCKS5 प्रॉक्सी के लिए पोर्ट (डिफ़ॉल्ट: 9050)
-f	--folder	वह डायरेक्टरी जिसमें जनरेट की गई फ़ाइलें होंगी
-V	--version	संस्करण दिखाएं और बाहर निकलें
एक्सट्रैक्ट:
-e	--extract	पेज का कोड टर्मिनल या फ़ाइल में एक्सट्रैक्ट करें (डिफ़ॉल्ट: टर्मिनल)
-i	--input filename	URL(s) वाली इनपुट फ़ाइल (पंक्ति द्वारा अलग की गई)
-o	--output [filename]	पेज(ों) को फ़ाइल(ों) में आउटपुट करें (एक पेज के लिए)
-y	--yara	yara कीवर्ड खोज करें: h = संपूर्ण html ऑब्जेक्ट खोजें, t = केवल टेक्स्ट खोजें
क्रॉल:
-c	--crawl	वेबसाइट क्रॉल करें (डिफ़ॉल्ट आउटपुट website/links.txt पर)
-d	--depth	क्रॉलर की यात्रा की गहराई सेट करें (डिफ़ॉल्ट: 1)
-p	--pause	अनुरोधों के बीच रुकने के सेकंड (डिफ़ॉल्ट: 0)
-j	--json	txt आउटपुट के अतिरिक्त क्रॉल निष्कर्षों को JSON में निर्यात करें
-x	--xml	txt आउटपुट के अतिरिक्त क्रॉल निष्कर्षों को XML में निर्यात करें
-DB	--database	क्रॉल निष्कर्षों और लिंक ग्राफ़ को SQLite डेटाबेस में निर्यात करें
-vis	--visualization	SQLite डेटाबेस से HTML विज़ुअलाइज़ेशन जनरेट करें (-DB आवश्यक)
-l	--log	देखे गए URL और उनके रिस्पॉन्स कोड वाली लॉग फ़ाइल

उपयोग और उदाहरण

एक्सट्रैक्टर के रूप में:

केवल एक वेबपेज को टर्मिनल में एक्सट्रैक्ट करने के लिए:

$ python torcrawl.py -u http://www.github.com
<!DOCTYPE html>
...
</html>

फ़ाइल में निकालें (github.htm) TOR के उपयोग के बिना:

$ python torcrawl.py -w -u http://www.github.com -o github.htm
## File created on /script/path/github.htm

टर्मिनल में निकालें और केवल google-analytics वाली पंक्ति खोजें:

$ python torcrawl.py -u http://www.github.com | grep 'google-analytics'
    <meta name="google-analytics" content="UA-*******-*">

फ़ाइल में निकालें और yara का उपयोग करके केवल google-analytics वाली पंक्ति खोजें:

$ python torcrawl.py -v -w -u https://github.com -e -y 0
...

नोट: अन्य कीवर्ड खोजने के लिए res/keyword.yar को अपडेट करें। raw html खोज के लिए -y 0 और केवल टेक्स्ट खोज के लिए -y 1 का उपयोग करें।

वेबपेजों का एक सेट (फ़ाइल से आयातित) टर्मिनल में निकालें:

$ python torcrawl.py -i links.txt
...

क्रॉलर के रूप में:

TOR का उपयोग किए बिना वेबपेज के लिंक क्रॉल करें, साथ ही वर्बोज़ आउटपुट भी दिखाएं (वास्तव में सहायक):