RobotsDisallowed

Le projet RobotsDisallowed est une collecte des répertoires interdits par les fichiers robots.txt des plus grands sites web du monde---plus précisément ceux de l'Alexa 100K et du Majestic 100K.

Cette liste de répertoires interdits est un excellent moyen de compléter la découverte de contenu lors d'une évaluation de sécurité web ou d'un bug bounty, puisque le propriétaire du site dit en substance :

« N'allez pas ici ; il y a des choses sensibles là-dedans ! »

En d'autres termes, c'est une liste de cibles potentielles à forte valeur.

Le projet

Ce que nous avons fait, c'est prendre les 100 000 meilleurs sites web Alexa, télécharger leurs fichiers robots.txt, extraire tous les répertoires interdits, puis effectuer tout un travail de nettoyage dessus (ils sont dans un sale état) afin de rendre les listes aussi utiles que possible lors des évaluations web.

Historique et mises à jour

• Ce projet a été initialement créé en 2017 et utilisait l'Alexa 100K.
• Ce projet a été mis à jour pour la dernière fois en mars 2019 et utilisait le top 100K du Majestic Million. En plus d'utiliser la liste Majestic au lieu d'Alexa (Alexa est passé à un modèle payant), nous sommes également passés à Chromium comme user-agent (au lieu de curl), avons simplifié la structure des fichiers et créé un répertoire /archive afin que les anciennes versions des fichiers puissent persister. L'ancien répertoire de code s'y trouve également. Enfin, nous avons supprimé les fichiers robots.txt eux-mêmes parce que… eh bien, ils sont volumineux et sans valeur.

Comment utiliser le projet

1. Clonez le répertoire sur votre système.
2. Choisissez le fichier que vous souhaitez utiliser en fonction de l'évaluation que vous réalisez. Si vous avez beaucoup de temps, utilisez peut-être l'une des plus grandes listes top-N---plutôt qu'une plus petite si vous avez moins de temps.

Mon option préférée, cependant, est d'utiliser la liste curated.txt, car elle ne contient qu'environ 500 éléments, et c'est une collection de répertoires contenant les chaînes et contenus suivants :

• « admin »
• « user »
• « account »
• « password »
• « forgot »
• « login »
• « backup »
• Les 25 premières entrées de la liste complète

En bref, c'est le meilleur du meilleur. J'ai écrit davantage à ce sujet ici.

TL;DR : Si vous voulez tirer le meilleur parti de votre temps, utilisez curated.txt.

Crédits

Ce concept n'est pas nouveau. Le projet RAFT a été le premier à le faire, et nous les remercions d'avoir été les pionniers de l'idée. Mais le projet est aujourd'hui mort et disparu, et comme l'idée fonctionne mieux lorsqu'elle est maintenue à jour, nous avons décidé de lui donner un second souffle sous la forme de RobotsDisallowed.

Remerciements

Merci beaucoup à Jason Haddix et Tim Tomes d'avoir parlé du projet sur Twitter et dans leurs présentations sur le bounty/recon/hacking à travers le monde.

Retours

Si vous avez des idées d'amélioration, veuillez nous envoyer un e-mail à [email protected] ou soumettre une pull request.

Merci, et bon hacking !