RobotsDisallowed

RobotsDisallowed 项目收集了全球顶级网站的 robots.txt 中被禁止访问的目录——具体来说，是 Alexa 100K 和 Majestic 100K 中的网站。

这份被禁止目录列表是在 Web 安全评估或漏洞赏金期间补充内容发现的一种绝佳方式，因为网站所有者基本上是在说：

“别去这里；里面有敏感内容！”

换句话说，这是一份潜在高价值目标的列表。

项目介绍

我们所做的是：获取 Alexa 排名前 100,000 的网站，下载它们的 robots.txt 文件，提取所有被禁止的目录，然后对它们进行大量清理（它们原本一团糟），使这些列表在 Web 评估期间尽可能有用。

历史与更新

• 该项目最初创建于 2017 年，使用的是 Alexa 100K。
• 该项目最后一次更新是在 2019 年 3 月，使用的是 Majestic Million 前 100K。除了使用 Majestic 列表代替 Alexa（Alexa 已转为付费模式）之外，我们还改用 Chromium 作为 user-agent（而不是 curl），简化了文件结构，并创建了 /archive 目录，以便旧版本的文件得以保留。旧的代码目录也在其中。最后，我们删除了实际的 robots.txt 文件，因为……嗯，它们很大且毫无价值。

如何使用该项目

1. 将目录克隆到你的系统。
2. 根据你正在进行的评估选择要使用的文件。如果你时间充裕，也许可以使用较大的 top-N 列表之一——如果时间较少，则使用较小的列表。

不过，我个人最喜欢的选项是使用 curated.txt 列表，因为它只有大约 500 个条目，并且是包含以下字符串和内容的目录集合：

• “admin”
• “user”
• “account”
• “password”
• “forgot”
• “login”
• “backup”
• 完整列表中的前 25 个条目

简而言之，它是精华中的精华。我在这里写了更多博客。

TL;DR：如果你想最有效地利用时间，请使用 curated.txt。

致谢

这个概念并不新鲜。RAFT 项目是第一个做这件事的，我们感谢他们对这一想法的开创性贡献。但该项目如今已消亡，而由于这个想法只有在保持更新时才能发挥最佳效果，我们决定以 RobotsDisallowed 的形式对它进行更新。

特别鸣谢

非常感谢 Jason Haddix 和 Tim Tomes 在 Twitter 上以及他们在世界各地的赏金/侦察/黑客演示中谈论该项目。

反馈

如果你对改进有任何想法，请发送电子邮件至 [email protected] 或提交 pull request。

谢谢，祝你黑客愉快！