behindthefirewalls/parseroParsero | Herramienta de auditoría de robots.txt
Parsero es un script gratuito escrito en Python que lee el archivo Robots.txt de un servidor web y examina las entradas Disallow. Las entradas Disallow le indican a los motores de búsqueda qué directorios o archivos alojados en un servidor web no deben ser indexados. Por ejemplo, "Disallow: /portal/login" significa que el contenido en www.example.com/portal/login no está permitido ser indexado por rastreadores como Google, Bing, Yahoo... Esta es la forma que tiene el administrador de no compartir información sensible o privada con los motores de búsqueda.
Pero a veces estas rutas escritas en las entradas Disallow son directamente accesibles por los usuarios sin usar un motor de búsqueda, solo visitando la URL y la ruta, y a veces no están disponibles para que nadie las visite. Debido a que es muy común que los administradores escriban muchas entradas Disallow y algunas de ellas están disponibles y otras no, puedes usar Parsero para comprobar el código de estado HTTP de cada entrada Disallow y verificar automáticamente si estos directorios están disponibles o no.
Además, el hecho de que el administrador escriba un robots.txt no significa que los archivos o directorios escritos en las entradas Disallow no sean indexados por Bing, Google, Yahoo, etc. Por esta razón, Parsero es capaz de buscar en Bing para localizar contenido indexado sin la autorización del administrador web. Parsero comprobará el código de estado HTTP de la misma manera para cada resultado de Bing.
Cuando ejecutas Parsero, puedes ver los códigos de estado HTTP. Por ejemplo, los códigos a continuación:
200 OK La solicitud ha tenido éxito.
403 Forbidden El servidor entendió la solicitud, pero se niega a cumplirla.
404 Not Found El servidor no ha encontrado nada que coincida con la URI de la solicitud.
302 Found El recurso solicitado reside temporalmente bajo una URI diferente.
...
Puedes obtener toda la información más reciente sobre Parsero en http://www.behindthefirewalls.com/search/?q=parsero
Hay tres formas de instalar Parsero fácilmente.
Usando el script setup.py
sudo setup.py install
Usando pip3
sudo apt-get install python3-pip
sudo pip3 install parsero
En Kali Linux
sudo apt-get update
sudo apt-get install parsero
$ parsero -h
usage: parsero.py [-h] [-u URL] [-o] [-sb]
optional arguments:
-h, --help show this help message and exit
-u URL Type the URL which will be analyzed
-o Show only the "HTTP 200" status code
-sb Search in Bing indexed Disallows
-f FILE Scan a list of domains from a list
root@kali:~# parsero -u www.example.com -sb
____
| _ \ __ _ _ __ ___ ___ _ __ ___
| |_) / _` | '__/ __|/ _ \ '__/ _ \
| __/ (_| | | \__ \ __/ | | (_) |
|_| \__,_|_| |___/\___|_| \___/
Starting Parsero v0.75 (https://github.com/behindthefirewalls/Parsero) at 05/22/14 11:12:55
Parsero scan report for example.com
http://example.com/download.php 302 Moved Temporarily
http://example.com/raw.php 302 Moved Temporarily
http://example.com/embed_js.php 200 OK
http://example.com/embed.php 200 OK
http://example.com/print.php 302 Moved Temporarily
http://example.com/diff.php 302 Moved Temporarily
http://example.com/share.php 404 Not Found
http://example.com/report.php 302 Moved Temporarily
http://example.com/embed_iframe.php 200 OK
[+] 9 links have been analyzed and 3 of them are available!!!
Searching the Disallows entries in Bing
http://www.bing.com/search?q=site:http://example.com/download.php
http://www.bing.com/search?q=site:http://example.com/raw.php
- example.com/raw.php/contact?i=KR9c2erd 200 OK
- example.com/raw.php/legal.aspx 302 Moved Temporarily
- example.com/raw.php/points?i=KR9c2erd 200 OK
- example.com/raw.php/image/sqrn11sp3C/zayn-tshirt-one-direction?i=... 302 Moved Temporarily
http://www.bing.com/search?q=site:http://example.com/embed_js.php
http://www.bing.com/search?q=site:http://example.com/embed.php
http://www.bing.com/search?q=site:http://example.com/print.php
http://www.bing.com/search?q=site:http://example.com/diff.php
http://www.bing.com/search?q=site:http://example.com/share.php
http://www.bing.com/search?q=site:http://example.com/report.php
http://www.bing.com/search?q=site:http://example.com/embed_iframe.php
Finished in 7.290362596511841 seconds
El uso de esta herramienta es tu responsabilidad. Usa parsero para auditar tus propios servidores o servidores que tengas permitido escanear. Por la presente renuncio a cualquier responsabilidad por las acciones realizadas con esta herramienta.
Quiero agradecer a @cor3dump3d de http://www.devconsole.info por su apoyo y ayuda.