RobotsDisallowed

O projeto RobotsDisallowed é uma coleta dos diretórios desautorizados em robots.txt dos principais sites do mundo — especificamente os do Alexa 100K e do Majestic 100K.

Esta lista de diretórios desautorizados é uma ótima forma de complementar a descoberta de conteúdo durante uma avaliação de segurança web ou bug bounty, já que o proprietário do site está basicamente dizendo:

"Não vá aqui; há coisas sensíveis lá dentro!"

Em outras palavras, é uma lista de potenciais alvos de alto valor.

O projeto

Então o que fizemos foi pegar os 100.000 principais sites do Alexa, baixar seus arquivos robots.txt, extrair todos os diretórios desautorizados e então realizar uma série de limpezas neles (eles são uma bagunça) para tornar as listas o mais úteis possível durante avaliações web.

Histórico e atualizações

• Este projeto foi criado inicialmente em 2017 e usava o Alexa 100K.
• Este projeto foi atualizado pela última vez em março de 2019 e usava o top 100K do Majestic Million. Além de usar a lista Majestic em vez da Alexa (a Alexa passou para um modelo pago), também mudamos para o Chromium como user-agent (em vez de curl), simplificamos a estrutura de arquivos e criamos um diretório /archive para que versões mais antigas dos arquivos possam persistir. O diretório de código antigo também está lá. Por fim, removemos os arquivos robots.txt em si porque… bem, eles são grandes e inúteis.

Como usar o projeto

1. Clone o diretório para o seu sistema.
2. Escolha o arquivo que deseja usar com base na avaliação que está fazendo. Se você tem muito tempo, talvez use uma das listas top-N maiores — em vez de usar uma menor se tiver menos tempo.

Minha opção pessoal favorita, no entanto, é usar a lista curated.txt, porque ela tem apenas cerca de 500 itens e é uma coleção de diretórios contendo as seguintes strings e conteúdo:

• "admin"
• "user"
• "account"
• "password"
• "forgot"
• "login"
• "backup"
• As 25 principais entradas da lista completa

Em resumo, é o melhor do melhor. Escrevi mais sobre isso no blog aqui.

TL;DR: Se você quer o melhor uso do seu tempo, use curated.txt.

Créditos

Este conceito não é novo. O projeto RAFT foi o primeiro a fazer isso, e agradecemos a eles por pioneirismo da ideia. Mas o projeto agora está morto e acabado, e como a ideia funciona melhor quando é mantida atualizada, decidimos dar a ela uma renovada na forma do RobotsDisallowed.

Agradecimentos

Muito obrigado a Jason Haddix e Tim Tomes por falarem sobre o projeto no Twitter e em suas apresentações de bounty/recon/hacking ao redor do mundo.

Feedback

Se você tiver alguma ideia sobre o que melhorar, envie um e-mail para [email protected] ou envie um pull request.

Obrigado, e bom hacking!