behindthefirewalls/parseroParsero | Ferramenta de auditoria de robots.txt
Parsero é um script gratuito escrito em Python que lê o arquivo Robots.txt de um servidor web e analisa as entradas Disallow. As entradas Disallow informam aos mecanismos de busca quais diretórios ou arquivos hospedados em um servidor web não devem ser indexados. Por exemplo, "Disallow: /portal/login" significa que o conteúdo em www.example.com/portal/login não é permitido ser indexado por rastreadores como Google, Bing, Yahoo... Essa é a forma que o administrador tem de não compartilhar informações sensíveis ou privadas com os mecanismos de busca.
Mas às vezes esses caminhos digitados nas entradas Disallows são diretamente acessíveis pelos usuários sem usar um mecanismo de busca, apenas visitando a URL e o caminho, e às vezes eles não estão disponíveis para serem visitados por ninguém. Como é muito comum que os administradores escrevam muitos Disallows e alguns deles estão disponíveis e alguns deles estão não, você pode usar o Parsero para verificar o código de status HTTP de cada entrada Disallow para verificar automaticamente se esses diretórios estão disponíveis ou não.
Além disso, o fato de o administrador escrever um robots.txt não significa que os arquivos ou diretórios digitados nas entradas Dissallow não serão indexados pelo Bing, Google, Yahoo, etc. Por essa razão, o Parsero é capaz de pesquisar no Bing para localizar conteúdo indexado sem a autorização do administrador. O Parsero verificará o código de status HTTP da mesma forma para cada resultado do Bing.
Quando você executa o Parsero, pode ver os códigos de status HTTP. Por exemplo, os códigos abaixo:
200 OK The request has succeeded.
403 Forbidden The server understood the request, but is refusing to fulfill it.
404 Not Found The server hasn't found anything matching the Request-URI.
302 Found The requested resource resides temporarily under a different URI.
...
Você pode obter todas as informações mais recentes sobre o Parsero em http://www.behindthefirewalls.com/search/?q=parsero
Existem três maneiras de instalar o Parsero facilmente.
Usando o script setup.py
sudo setup.py install
Usando o pip3
sudo apt-get install python3-pip
sudo pip3 install parsero
No Kali Linux
sudo apt-get update
sudo apt-get install parsero
$ parsero -h
usage: parsero.py [-h] [-u URL] [-o] [-sb]
optional arguments:
-h, --help show this help message and exit
-u URL Type the URL which will be analyzed
-o Show only the "HTTP 200" status code
-sb Search in Bing indexed Disallows
-f FILE Scan a list of domains from a list
root@kali:~# parsero -u www.example.com -sb
____
| _ \ __ _ _ __ ___ ___ _ __ ___
| |_) / _` | '__/ __|/ _ \ '__/ _ \
| __/ (_| | | \__ \ __/ | | (_) |
|_| \__,_|_| |___/\___|_| \___/
Starting Parsero v0.75 (https://github.com/behindthefirewalls/Parsero) at 05/22/14 11:12:55
Parsero scan report for example.com
http://example.com/download.php 302 Moved Temporarily
http://example.com/raw.php 302 Moved Temporarily
http://example.com/embed_js.php 200 OK
http://example.com/embed.php 200 OK
http://example.com/print.php 302 Moved Temporarily
http://example.com/diff.php 302 Moved Temporarily
http://example.com/share.php 404 Not Found
http://example.com/report.php 302 Moved Temporarily
http://example.com/embed_iframe.php 200 OK
[+] 9 links have been analyzed and 3 of them are available!!!
Searching the Disallows entries in Bing
http://www.bing.com/search?q=site:http://example.com/download.php
http://www.bing.com/search?q=site:http://example.com/raw.php
- example.com/raw.php/contact?i=KR9c2erd 200 OK
- example.com/raw.php/legal.aspx 302 Moved Temporarily
- example.com/raw.php/points?i=KR9c2erd 200 OK
- example.com/raw.php/image/sqrn11sp3C/zayn-tshirt-one-direction?i=... 302 Moved Temporarily
http://www.bing.com/search?q=site:http://example.com/embed_js.php
http://www.bing.com/search?q=site:http://example.com/embed.php
http://www.bing.com/search?q=site:http://example.com/print.php
http://www.bing.com/search?q=site:http://example.com/diff.php
http://www.bing.com/search?q=site:http://example.com/share.php
http://www.bing.com/search?q=site:http://example.com/report.php
http://www.bing.com/search?q=site:http://example.com/embed_iframe.php
Finished in 7.290362596511841 seconds
O uso desta ferramenta é de sua responsabilidade. Use o parsero para auditar seus próprios servidores ou servidores que você tem permissão para analisar. Não me responsabilizo por quaisquer ações tomadas com esta ferramenta.
Gostaria de agradecer ao @cor3dump3d do http://www.devconsole.info pelo seu apoio e ajuda.