RobotsDisallowed

RobotsDisallowedプロジェクトは、世界のトップウェブサイト——具体的にはAlexa 100KとMajestic 100K——のrobots.txtでDisallow指定されたディレクトリを収集したものです。

このDisallowディレクトリのリストは、ウェブセキュリティ評価やバグバウンティにおいてコンテンツディスカバリーを補完する優れた方法です。なぜなら、ウェブサイトの所有者が基本的にこう言っているからです。

「ここには入らないでください。中には機密情報があります！」

言い換えれば、これは潜在的な高価値ターゲットのリストです。

プロジェクトについて

そこで私たちが行ったのは、Alexaトップ100,000ウェブサイトを取得し、そのrobots.txtファイルをダウンロードし、すべてのDisallowディレクトリを抽出したうえで、ウェブ評価時にリストを可能な限り有用にするために大量のクリーンアップ（元データはひどい状態でした）を施すことでした。

履歴と更新

• このプロジェクトは2017年に最初に作成され、Alexa 100Kを使用していました。
• このプロジェクトは2019年3月に最後の更新が行われ、Majestic Millionのトップ100Kを使用しました。Alexaの代わりにMajesticリストを使用したこと（Alexaは有料モデルに移行しました）に加えて、ユーザーエージェントをcurlからChromiumに切り替え、ファイル構造を簡素化し、古いバージョンのファイルを保持できるように/archiveディレクトリを作成しました。古いコードディレクトリもそこに含まれています。最後に、実際のrobots.txtファイルは削除しました。なぜなら……まあ、大きくて価値がないからです。

プロジェクトの使い方

1. ディレクトリをシステムにクローンします。
2. 実施する評価に基づいて使用するファイルを選びます。時間がたくさんある場合は、より大きなtop-Nリストのいずれかを使用し、時間が少ない場合はより小さなものを使用するとよいでしょう。

しかし、私個人のお気に入りの選択肢はcurated.txtリストを使用することです。なぜなら、約500項目しかなく、以下の文字列や内容を含むディレクトリのコレクションだからです:

• "admin"
• "user"
• "account"
• "password"
• "forgot"
• "login"
• "backup"
• 完全なリストからのトップ25エントリ

要するに、これは最高の中の最高です。詳細はこちらのブログで書いています。

TL;DR: 時間を最も有効に使いたいなら、curated.txtを使用してください。

クレジット

このコンセプトは新しいものではありません。RAFTプロジェクトが最初にこれを実施しており、その先駆的なアイデアに感謝します。しかし、そのプロジェクトは今や消滅して存在せず、このアイデアは最新の状態に保つことで最も効果を発揮するため、私たちはRobotsDisallowedという形でそれをリフレッシュすることにしました。

謝辞

プロジェクトについてTwitterや世界中でのバウンティ/偵察/ハッキングのプレゼンテーションで言及してくださったJason HaddixとTim Tomesに心から感謝します。

フィードバック

改善のアイデアがあれば、[email protected]までメールするか、プルリクエストを送ってください。

ありがとうございます。そして、ハッピーハッキングを！