behindthefirewalls/parseroParsero | Robots.txt audit tool
Parsero एक मुफ्त स्क्रिप्ट है जो Python में लिखी गई है और जो वेब सर्वर की Robots.txt फ़ाइल को पढ़ती है और Disallow प्रविष्टियों को देखती है। Disallow प्रविष्टियाँ खोज इंजनों को बताती हैं कि वेब सर्वर पर होस्ट की गई कौन सी निर्देशिकाएँ या फ़ाइलें इंडेक्स नहीं की जानी चाहिए। उदाहरण के लिए, "Disallow: /portal/login" का अर्थ है कि www.example.com/portal/login पर सामग्री को Google, Bing, Yahoo जैसे क्रॉलर्स द्वारा इंडेक्स करने की अनुमति नहीं है... यह वह तरीका है जिससे प्रशासक संवेदनशील या निजी जानकारी को खोज इंजनों के साथ साझा नहीं करता है।
लेकिन कभी-कभी Disallow प्रविष्टियों में टाइप किए गए ये पथ उपयोगकर्ताओं द्वारा सीधे एक्सेस किए जा सकते हैं बिना खोज इंजन का उपयोग किए, बस URL और पथ पर जाकर, और कभी-कभी वे किसी के द्वारा भी देखे जाने के लिए उपलब्ध नहीं होते हैं। क्योंकि यह बहुत सामान्य है कि प्रशासक बहुत सारे Disallows लिखते हैं और उनमें से कुछ उपलब्ध होते हैं और कुछ नहीं, आप प्रत्येक Disallow प्रविष्टि के HTTP स्थिति कोड की जाँच करने के लिए Parsero का उपयोग कर सकते हैं ताकि स्वचालित रूप से जाँच की जा सके कि ये निर्देशिकाएँ उपलब्ध हैं या नहीं।
इसके अलावा, प्रशासक द्वारा robots.txt लिखने का तथ्य यह नहीं दर्शाता कि Disallow प्रविष्टियों में टाइप की गई फ़ाइलें या निर्देशिकाएँ Bing, Google, Yahoo आदि द्वारा इंडेक्स नहीं की जाएंगी। इस कारण से, Parsero Bing में खोज करके वेब प्रशासक की अनुमति के बिना इंडेक्स की गई सामग्री का पता लगाने में सक्षम है। Parsero प्रत्येक Bing परिणाम के लिए उसी तरह HTTP स्थिति कोड की जाँच करेगा।
जब आप Parsero को निष्पादित करते हैं, तो आप HTTP स्थिति कोड देख सकते हैं। उदाहरण के लिए, नीचे दिए गए कोड:
200 OK The request has succeeded.
403 Forbidden The server understood the request, but is refusing to fulfill it.
404 Not Found The server hasn't found anything matching the Request-URI.
302 Found The requested resource resides temporarily under a different URI.
...
You can get all the latest info about Parsero from http://www.behindthefirewalls.com/search/?q=parsero
Parsero को स्थापित करने के तीन आसान तरीके हैं।
setup.py स्क्रिप्ट का उपयोग करके
sudo setup.py install
pip3 का उपयोग करके
sudo apt-get install python3-pip
sudo pip3 install parsero
Kali Linux में
sudo apt-get update
sudo apt-get install parsero
$ parsero -h
usage: parsero.py [-h] [-u URL] [-o] [-sb]
optional arguments:
-h, --help show this help message and exit
-u URL Type the URL which will be analyzed
-o Show only the "HTTP 200" status code
-sb Search in Bing indexed Disallows
-f FILE Scan a list of domains from a list
root@kali:~# parsero -u www.example.com -sb
____
| _ \ __ _ _ __ ___ ___ _ __ ___
| |_) / _` | '__/ __|/ _ \ '__/ _ \
| __/ (_| | | \__ \ __/ | | (_) |
|_| \__,_|_| |___/\___|_| \___/
Starting Parsero v0.75 (https://github.com/behindthefirewalls/Parsero) at 05/22/14 11:12:55
Parsero scan report for example.com
http://example.com/download.php 302 Moved Temporarily
http://example.com/raw.php 302 Moved Temporarily
http://example.com/embed_js.php 200 OK
http://example.com/embed.php 200 OK
http://example.com/print.php 302 Moved Temporarily
http://example.com/diff.php 302 Moved Temporarily
http://example.com/share.php 404 Not Found
http://example.com/report.php 302 Moved Temporarily
http://example.com/embed_iframe.php 200 OK
[+] 9 links have been analyzed and 3 of them are available!!!
Searching the Disallows entries in Bing
http://www.bing.com/search?q=site:http://example.com/download.php
http://www.bing.com/search?q=site:http://example.com/raw.php
- example.com/raw.php/contact?i=KR9c2erd 200 OK
- example.com/raw.php/legal.aspx 302 Moved Temporarily
- example.com/raw.php/points?i=KR9c2erd 200 OK
- example.com/raw.php/image/sqrn11sp3C/zayn-tshirt-one-direction?i=... 302 Moved Temporarily
http://www.bing.com/search?q=site:http://example.com/embed_js.php
http://www.bing.com/search?q=site:http://example.com/embed.php
http://www.bing.com/search?q=site:http://example.com/print.php
http://www.bing.com/search?q=site:http://example.com/diff.php
http://www.bing.com/search?q=site:http://example.com/share.php
http://www.bing.com/search?q=site:http://example.com/report.php
http://www.bing.com/search?q=site:http://example.com/embed_iframe.php
Finished in 7.290362596511841 seconds
इस उपकरण का उपयोग आपकी जिम्मेदारी है। अपने स्वयं के सर्वर या उन सर्वरों का ऑडिट करने के लिए parsero का उपयोग करें जिन्हें आप स्कैन करने की अनुमति रखते हैं। मैं इस उपकरण के साथ की गई कार्रवाइयों के लिए किसी भी जिम्मेदारी से इनकार करता हूँ।
मैं @cor3dump3d को धन्यवाद देना चाहूँगा http://www.devconsole.info से उनके समर्थन और सहायता के लिए।