RobotsDisallowed

El proyecto RobotsDisallowed es una recopilación de los directorios no permitidos en los archivos robots.txt de los principales sitios web del mundo, concretamente los de Alexa 100K y Majestic 100K.

Esta lista de directorios no permitidos es una excelente manera de complementar el descubrimiento de contenido durante una evaluación de seguridad web o un bug bounty, ya que el propietario del sitio básicamente está diciendo:

"No vayas aquí; ¡hay cosas sensibles ahí dentro!"

En otras palabras, es una lista de posibles objetivos de alto valor.

El proyecto

Lo que hicimos fue tomar los 100.000 sitios web principales de Alexa, descargar sus archivos robots.txt, extraer todos los directorios no permitidos y luego realizar una serie de tareas de limpieza sobre ellos (son un desastre) para que las listas sean lo más útiles posible durante las evaluaciones web.

Historial y actualizaciones

• Este proyecto se creó inicialmente en 2017 y utilizó Alexa 100K.
• Este proyecto se actualizó por última vez en marzo de 2019 y utilizó el top 100K de Majestic Million. Además de usar la lista de Majestic en lugar de Alexa (Alexa pasó a un modelo de pago), también cambiamos a Chromium como user-agent (en lugar de curl), simplificamos la estructura de archivos y creamos un directorio /archive para que las versiones anteriores de los archivos puedan persistir. El antiguo directorio de código también está ahí. Por último, eliminamos los archivos robots.txt reales porque... bueno, son grandes e inútiles.

Cómo usar el proyecto

1. Clona el directorio en tu sistema.
2. Elige el archivo que quieras usar según la evaluación que estés realizando. Si tienes mucho tiempo, quizá quieras usar una de las listas top-N más grandes, en lugar de usar una más pequeña si tienes menos tiempo.

Mi opción personal favorita, sin embargo, es usar la lista curated.txt, porque solo tiene alrededor de 500 elementos y es una colección de directorios que contienen las siguientes cadenas y contenido:

• "admin"
• "user"
• "account"
• "password"
• "forgot"
• "login"
• "backup"
• Las 25 entradas principales de la lista completa

En resumen, es lo mejor de lo mejor. Escribí más sobre esto en mi blog aquí.

TL;DR: Si quieres aprovechar mejor tu tiempo, usa curated.txt.

Créditos

Este concepto no es nuevo. El proyecto RAFT fue el primero en hacer esto, y les agradecemos por ser pioneros de la idea. Pero el proyecto ahora está muerto y desaparecido, y dado que la idea funciona mejor cuando se mantiene actualizada, decidimos renovarla en forma de RobotsDisallowed.

Agradecimientos

Muchas gracias a Jason Haddix y Tim Tomes por hablar del proyecto en Twitter y en sus presentaciones de bounty/recon/hacking por todo el mundo.

Comentarios

Si tienes alguna idea sobre qué mejorar, envíanos un correo a [email protected] o envía un pull request.

¡Gracias y feliz hacking!