behindthefirewalls/parseroParsero | Robots.txt audit tool
Parsero est un script gratuit écrit en Python qui lit le fichier Robots.txt d'un serveur web et examine les entrées Disallow. Les entrées Disallow indiquent aux moteurs de recherche quels répertoires ou fichiers sur un serveur web ne doivent pas être indexés. Par exemple, "Disallow: /portal/login" signifie que le contenu sur www.exemple.com/portal/login n'est pas autorisé à être indexé par des robots comme Google, Bing, Yahoo... C'est ainsi que l'administrateur peut éviter de partager des informations sensibles ou privées avec les moteurs de recherche.
Mais parfois, ces chemins indiqués dans les entrées Disallow sont directement accessibles par les utilisateurs sans passer par un moteur de recherche, simplement en visitant l'URL et le chemin, et parfois ils ne sont pas accessibles à quiconque. Comme il est très courant que les administrateurs écrivent beaucoup d'entrées Disallow, certaines sont disponibles et d'autres non, vous pouvez utiliser Parsero pour vérifier le code d'état HTTP de chaque entrée Disallow et ainsi vérifier automatiquement si ces répertoires sont disponibles ou non.
De plus, le fait que l'administrateur écrive un robots.txt ne signifie pas que les fichiers ou répertoires indiqués dans les entrées Disallow ne seront pas indexés par Bing, Google, Yahoo, etc. Pour cette raison, Parsero est capable de rechercher sur Bing pour localiser du contenu indexé sans l'autorisation de l'administrateur web. Parsero vérifiera le code d'état HTTP de la même manière pour chaque résultat Bing.
Lorsque vous exécutez Parsero, vous pouvez voir les codes d'état HTTP. Par exemple, les codes ci-dessous :
200 OK La requête a réussi.
403 Forbidden Le serveur a compris la requête, mais refuse de l'exécuter.
404 Not Found Le serveur n'a rien trouvé correspondant à l'URI de la requête.
302 Found La ressource demandée réside temporairement sous une URI différente.
...
Vous pouvez obtenir toutes les dernières informations sur Parsero depuis http://www.behindthefirewalls.com/search/?q=parsero
Il y a trois façons d'installer Parsero facilement.
En utilisant le script setup.py
sudo setup.py install
En utilisant pip3
sudo apt-get install python3-pip
sudo pip3 install parsero
Dans Kali Linux
sudo apt-get update
sudo apt-get install parsero
$ parsero -h
usage: parsero.py [-h] [-u URL] [-o] [-sb]
optional arguments:
-h, --help show this help message and exit
-u URL Type the URL which will be analyzed
-o Show only the "HTTP 200" status code
-sb Search in Bing indexed Disallows
-f FILE Scan a list of domains from a list
root@kali:~# parsero -u www.example.com -sb
____
| _ \ __ _ _ __ ___ ___ _ __ ___
| |_) / _` | '__/ __|/ _ \ '__/ _ \
| __/ (_| | | \__ \ __/ | | (_) |
|_| \__,_|_| |___/\___|_| \___/
Starting Parsero v0.75 (https://github.com/behindthefirewalls/Parsero) at 05/22/14 11:12:55
Parsero scan report for example.com
http://example.com/download.php 302 Moved Temporarily
http://example.com/raw.php 302 Moved Temporarily
http://example.com/embed_js.php 200 OK
http://example.com/embed.php 200 OK
http://example.com/print.php 302 Moved Temporarily
http://example.com/diff.php 302 Moved Temporarily
http://example.com/share.php 404 Not Found
http://example.com/report.php 302 Moved Temporarily
http://example.com/embed_iframe.php 200 OK
[+] 9 links have been analyzed and 3 of them are available!!!
Searching the Disallows entries in Bing
http://www.bing.com/search?q=site:http://example.com/download.php
http://www.bing.com/search?q=site:http://example.com/raw.php
- example.com/raw.php/contact?i=KR9c2erd 200 OK
- example.com/raw.php/legal.aspx 302 Moved Temporarily
- example.com/raw.php/points?i=KR9c2erd 200 OK
- example.com/raw.php/image/sqrn11sp3C/zayn-tshirt-one-direction?i=... 302 Moved Temporarily
http://www.bing.com/search?q=site:http://example.com/embed_js.php
http://www.bing.com/search?q=site:http://example.com/embed.php
http://www.bing.com/search?q=site:http://example.com/print.php
http://www.bing.com/search?q=site:http://example.com/diff.php
http://www.bing.com/search?q=site:http://example.com/share.php
http://www.bing.com/search?q=site:http://example.com/report.php
http://www.bing.com/search?q=site:http://example.com/embed_iframe.php
Finished in 7.290362596511841 seconds
L'utilisation de cet outil est de votre responsabilité. Utilisez parsero pour auditer vos propres serveurs ou des serveurs que vous êtes autorisé à scanner. Je décline toute responsabilité quant aux actions entreprises avec cet outil.
Je tiens à remercier @cor3dump3d de http://www.devconsole.info pour son soutien et son aide.