RobotsDisallowed

Il progetto RobotsDisallowed è una raccolta delle directory disallowed dei file robots.txt dei principali siti web al mondo---nello specifico quelle della lista Alexa 100K e della Majestic 100K.

Questa lista di directory Disallowed è un ottimo modo per integrare la content discovery durante una valutazione di sicurezza web o un bug bounty, dato che il proprietario del sito web sta praticamente dicendo:

"Non andare qui; ci sono cose sensibili là dentro!"

In altre parole, è una lista di potenziali obiettivi di alto valore.

Il progetto

Quindi quello che abbiamo fatto è stato prendere i primi 100.000 siti web di Alexa, scaricare i loro file robots.txt, estrarre tutte le directory Disallowed, e poi eseguire una serie di operazioni di pulizia su di esse (sono un disastro) per rendere le liste il più utili possibile durante le valutazioni web.

Storia e aggiornamenti

• Questo progetto è stato creato inizialmente nel 2017 e utilizzava la lista Alexa 100K.
• Questo progetto è stato aggiornato l'ultima volta a marzo 2019 e utilizzava la top 100K di Majestic Million. Oltre a usare la lista Majestic invece di Alexa (Alexa è passata a un modello a pagamento), abbiamo anche cambiato lo user-agent passando a Chromium (invece di curl), semplificato la struttura dei file e creato una directory /archive in modo che le versioni precedenti dei file possano persistere. Anche la vecchia directory del codice è lì dentro. Infine, abbiamo rimosso i file robots.txt effettivi perché... beh, sono grandi e inutili.

Come usare il progetto

1. Clona la directory sul tuo sistema.
2. Scegli il file che vuoi usare in base alla valutazione che stai facendo. Se hai molto tempo, magari usa una delle liste top-N più grandi---rispetto a usarne una più piccola se hai meno tempo.

La mia opzione preferita in assoluto, tuttavia, è andare con la lista curated.txt, perché contiene solo circa 500 elementi ed è una raccolta di directory contenenti le seguenti stringhe e contenuti:

• "admin"
• "user"
• "account"
• "password"
• "forgot"
• "login"
• "backup"
• Le prime 25 voci dalla lista completa

In breve, è il meglio del meglio. Ho scritto un blog più approfondito qui.

TL;DR: Se vuoi il miglior uso del tuo tempo, vai con curated.txt.

Crediti

Questo concetto non è nuovo. Il progetto RAFT è stato il primo a farlo, e li ringraziamo per aver pionierato l'idea. Ma il progetto ora è morto e sepolto, e poiché l'idea funziona meglio quando viene mantenuta aggiornata, abbiamo deciso di rinfrescarla sotto forma di RobotsDisallowed.

Ringraziamenti

Grazie mille a Jason Haddix e Tim Tomes per aver parlato del progetto su Twitter e nelle loro presentazioni su bounty/recon/hacking in giro per il mondo.

Feedback

Se hai idee su cosa migliorare, scrivici a [email protected] o invia una pull request.

Grazie, e buon hacking!