RobotsDisallowed

Das Projekt RobotsDisallowed ist eine Sammlung der in robots.txt nicht erlaubten Verzeichnisse der weltweit führenden Websites – konkret derer der Alexa 100K und der Majestic 100K.

Diese Liste der nicht erlaubten Verzeichnisse ist eine hervorragende Ergänzung zur Content-Discovery während einer Web-Sicherheitsbewertung oder eines Bug-Bounty-Programms, da der Website-Besitzer im Grunde sagt:

„Geh hier nicht hin; dort drin sind sensible Dinge!“

Mit anderen Worten: Es ist eine Liste potenzieller hochwertiger Ziele.

Das Projekt

Was wir also getan haben: Wir haben die Alexa Top 100.000 Websites genommen, ihre robots.txt-Dateien heruntergeladen, alle nicht erlaubten Verzeichnisse extrahiert und dann eine Reihe von Bereinigungen daran vorgenommen (sie sind ein einziges Durcheinander), um die Listen während Web-Assessments so nützlich wie möglich zu machen.

Historie und Aktualisierungen

• Dieses Projekt wurde ursprünglich 2017 erstellt und verwendete die Alexa 100K.
• Dieses Projekt wurde zuletzt im März 2019 aktualisiert und verwendete die Majestic Million Top 100K. Zusätzlich zur Verwendung der Majestic-Liste anstelle von Alexa (Alexa wechselte zu einem Bezahlmodell) haben wir auch auf Chromium als User-Agent umgestellt (statt curl), die Dateistruktur vereinfacht und ein /archive-Verzeichnis angelegt, damit ältere Versionen der Dateien erhalten bleiben. Das alte Code-Verzeichnis befindet sich ebenfalls dort. Schließlich haben wir die eigentlichen robots.txt-Dateien entfernt, weil … nun ja, sie sind groß und wertlos.

So verwendest du das Projekt

1. Klone das Verzeichnis auf dein System.
2. Wähle die Datei aus, die du verwenden möchtest, basierend auf der Bewertung, die du durchführst. Wenn du viel Zeit hast, verwende vielleicht eine der größeren top-N-Listen – im Gegensatz zu einer kleineren, wenn du weniger Zeit hast.

Meine persönliche Lieblingsoption ist jedoch die curated.txt-Liste, denn sie umfasst nur etwa 500 Einträge und ist eine Sammlung von Verzeichnissen, die die folgenden Zeichenfolgen und Inhalte enthalten:

• „admin“
• „user“
• „account“
• „password“
• „forgot“
• „login“
• „backup“
• Die Top-25-Einträge aus der vollständigen Liste

Kurz gesagt: das Beste vom Besten. Ich habe mehr darüber hier gebloggt.

TL;DR: Wenn du das Beste aus deiner Zeit herausholen willst, nimm curated.txt.

Danksagung

Dieses Konzept ist nicht neu. Das RAFT-Projekt war das erste, das dies umgesetzt hat, und wir danken ihm für seine Pionierarbeit bei dieser Idee. Aber das Projekt ist inzwischen tot und verschwunden, und da die Idee am besten funktioniert, wenn sie aktuell gehalten wird, haben wir beschlossen, ihr in Form von RobotsDisallowed eine Auffrischung zu geben.

Shoutouts

Vielen Dank an Jason Haddix und Tim Tomes dafür, dass sie das Projekt auf Twitter und in ihren Bounty-/Recon-/Hacking-Präsentationen auf der ganzen Welt erwähnt haben.

Feedback

Wenn du Ideen zur Verbesserung hast, schreib uns bitte eine E-Mail an [email protected] oder reiche einen Pull Request ein.

Danke und viel Erfolg beim Hacken!