CloudScraper

CloudScraper 是一款用于爬取和抓取目标以寻找云资源的工具。输入一个 URL，它会爬取页面并搜索页面源码中的字符串，例如 's3.amazonaws.com'、'windows.net' 和 'digitaloceanspaces'。目前支持 AWS、Azure、Digital Ocean 资源。

@ok_bye_now

先决条件

非标准 Python 库：

• requests
• rfc3987
• termcolor

使用 Python 3.6 创建

概述

此工具的灵感来源于 Bryce Kunz 近期的一次演讲。该演讲 Blue Cloud of Death: Red Teaming Azure 带领我们了解了一些除常见的 S3 存储桶之外的、较为少见的通用信息泄露。

用法：

usage: CloudScraper.py [-h] [-v] [-p Processes] [-d DEPTH] [-u URL] [-l TARGETLIST]

optional arguments:
  -h, --help     show this help message and exit
  -u URL         Target Scope
  -d DEPTH       Max Depth of links Default: 5
  -l TARGETLIST  Location of text file of Line Delimited targets
  -v Verbose     Verbose output
  -p Processes   Number of processes to be executed in parallel. Default: 2
  --no-verify    Skip TLS verification

example: python3 CloudScraper.py -u https://rottentomatoes.com

待办事项

• 添加关键词自定义

其他

要添加关键词，只需将其添加到解析器函数中的列表中。

贡献

分享即关爱！欢迎提交拉取请求，例如添加更多检测支持、多线程等功能都是非常受欢迎的 :)

为什么

实际上 Bryce Kunz 制作了一个类似功能的工具，但它使用了 scrapy，而我想自己构建一个不依赖 Python2 或任何爬取模块（如 scrapy）的工具。我最终使用了 BeautifulSoup 来解析 href 链接以进行爬取。使用原始正则表达式而不是解析 href 链接的好处是，很多时候这些链接并不包含在 href 中，它们可能隐藏在 JS 或其他位置。CloudScraper 抓取整个页面并使用正则表达式查找链接。这也有其缺陷，例如抓取过多或过少，但至少我们知道我们覆盖了所有基础 :)