behindthefirewalls/parseroParsero | Инструмент аудита Robots.txt
Parsero — это бесплатный скрипт, написанный на Python, который читает файл Robots.txt веб-сервера и просматривает записи Disallow. Записи Disallow сообщают поисковым системам, какие каталоги или файлы, размещённые на веб-сервере, не должны индексироваться. Например, «Disallow: /portal/login» означает, что содержимое на www.example.com/portal/login не разрешено индексировать краулерам, таким как Google, Bing, Yahoo... Это способ, которым администратор может не делиться чувствительной или приватной информацией с поисковыми системами.
Но иногда эти пути, указанные в записях Disallow, напрямую доступны пользователям без использования поисковой системы — достаточно просто посетить URL и путь, а иногда они вообще недоступны для посещения кем-либо. Поскольку очень часто администраторы пишут много записей Disallow, и некоторые из них доступны, а некоторые — нет, вы можете использовать Parsero, чтобы проверить HTTP-статус код каждой записи Disallow и автоматически определить, доступны ли эти каталоги или нет.
Кроме того, тот факт, что администратор написал robots.txt, не означает, что файлы или каталоги, указанные в записях Disallow, не будут проиндексированы Bing, Google, Yahoo и т. д. По этой причине Parsero способен выполнять поиск в Bing, чтобы находить контент, проиндексированный без разрешения веб-администратора. Parsero проверит HTTP-статус код таким же образом для каждого результата Bing.
Когда вы запускаете Parsero, вы можете видеть HTTP-статус коды. Например, коды ниже:
200 OK Запрос успешно выполнен.
403 Forbidden Сервер понял запрос, но отказывается его выполнять.
404 Not Found Сервер не нашёл ничего, соответствующего Request-URI.
302 Found Запрошенный ресурс временно находится по другому URI.
...
Вы можете получить всю самую свежую информацию о Parsero по адресу http://www.behindthefirewalls.com/search/?q=parsero
Есть три способа легко установить Parsero.
С помощью скрипта setup.py
sudo setup.py install
С помощью pip3
sudo apt-get install python3-pip
sudo pip3 install parsero
В Kali Linux
sudo apt-get update
sudo apt-get install parsero
$ parsero -h
usage: parsero.py [-h] [-u URL] [-o] [-sb]
optional arguments:
-h, --help show this help message and exit
-u URL Type the URL which will be analyzed
-o Show only the "HTTP 200" status code
-sb Search in Bing indexed Disallows
-f FILE Scan a list of domains from a list
root@kali:~# parsero -u www.example.com -sb
____
| _ \ __ _ _ __ ___ ___ _ __ ___
| |_) / _` | '__/ __|/ _ \ '__/ _ \
| __/ (_| | | \__ \ __/ | | (_) |
|_| \__,_|_| |___/\___|_| \___/
Starting Parsero v0.75 (https://github.com/behindthefirewalls/Parsero) at 05/22/14 11:12:55
Parsero scan report for example.com
http://example.com/download.php 302 Moved Temporarily
http://example.com/raw.php 302 Moved Temporarily
http://example.com/embed_js.php 200 OK
http://example.com/embed.php 200 OK
http://example.com/print.php 302 Moved Temporarily
http://example.com/diff.php 302 Moved Temporarily
http://example.com/share.php 404 Not Found
http://example.com/report.php 302 Moved Temporarily
http://example.com/embed_iframe.php 200 OK
[+] 9 links have been analyzed and 3 of them are available!!!
Searching the Disallows entries in Bing
http://www.bing.com/search?q=site:http://example.com/download.php
http://www.bing.com/search?q=site:http://example.com/raw.php
- example.com/raw.php/contact?i=KR9c2erd 200 OK
- example.com/raw.php/legal.aspx 302 Moved Temporarily
- example.com/raw.php/points?i=KR9c2erd 200 OK
- example.com/raw.php/image/sqrn11sp3C/zayn-tshirt-one-direction?i=... 302 Moved Temporarily
http://www.bing.com/search?q=site:http://example.com/embed_js.php
http://www.bing.com/search?q=site:http://example.com/embed.php
http://www.bing.com/search?q=site:http://example.com/print.php
http://www.bing.com/search?q=site:http://example.com/diff.php
http://www.bing.com/search?q=site:http://example.com/share.php
http://www.bing.com/search?q=site:http://example.com/report.php
http://www.bing.com/search?q=site:http://example.com/embed_iframe.php
Finished in 7.290362596511841 seconds
Использование этого инструмента — ваша ответственность. Используйте parsero для аудита собственных серверов или серверов, которые вам разрешено сканировать. Я настоящим снимаю с себя ответственность за любые действия, совершённые с помощью этого инструмента.
Я хотел бы поблагодарить @cor3dump3d с http://www.devconsole.info за его поддержку и помощь.