此仓库已归档,不再维护。
2026 年 7 月/8 月,Google 更改了搜索结果的返回方式,导致 pagodo 所使用的 yagooglesearch 库变得不可靠。yagooglesearch 所基于的库 googlesearch 已于 2026 年 2 月 13 日归档。其问题跟踪器也记录了搜索结果不再出现的问题。
因此,此仓库已于 2026 年 11 月 1 日归档,不再维护。
背景资料:
pagodo 可自动在 Google 上搜索互联网上可能存在漏洞的网页和应用程序。它取代了通过网页 GUI 浏览器手动执行 Google dork 搜索的方式。
它包含两个部分。第一部分是 ghdb_scraper.py,用于获取最新的 Google dork;第二部分是 pagodo.py,利用 ghdb_scraper.py 收集到的信息。
核心 Google 搜索库现在使用更灵活的 yagooglesearch,而非 googlesearch。请查看 yagooglesearch README,以更深入地了解这两个库的差异和功能。
此版本的 pagodo 还支持原生 HTTP(S) 和 SOCKS5 应用程序支持,因此如果你需要代理支持,就无需再将其包装在 proxychains4 之类的工具中。你可以通过 -p 开关提供以逗号分隔的代理字符串,以轮询方式指定要使用的多个代理。
Offensive Security 维护着 Google Hacking Database (GHDB),可在此处找到:https://www.exploit-db.com/google-hacking-database。它是一组称为 dork 的 Google 搜索集合,可用于查找可能存在漏洞的主机或其他被 Google 搜索机器人抓取到的有价值信息。
pagodo 的条款和条件与 yagooglesearch 中的条款和条件相同。
此代码按原样提供,你对其使用方式负全部责任。抓取 Google 搜索结果可能违反其服务条款。另一个 Python Google 搜索库对此有一些有趣的资料/讨论:
Google 推荐的方法是使用其 API。
脚本针对 Python 3.6+ 编写。克隆 git 仓库并安装依赖项。
git clone https://github.com/opsdisk/pagodo.git
cd pagodo
python3 -m venv .venv # If using a virtual environment.
source .venv/bin/activate # If using a virtual environment.
pip install --upgrade pip setuptools
pip install -r requirements.txt
首先,pagodo.py 需要一份包含所有当前 Google dorks 的列表。仓库中包含一个 dorks/ 目录,其中存放着 ghdb_scraper.py 上次运行时的 dorks。建议在运行 pagodo.py 之前先运行 ghdb_scraper.py 以获取最新数据。dorks/ 目录包含:
all_google_dorks.txt 文件,包含所有 Google dorks,每行一个all_google_dorks.json 文件,即来自 GHDB 的 JSON 响应Dork 分类:
categories = {
1: "Footholds",
2: "File Containing Usernames",
3: "Sensitives Directories",
4: "Web Server Detection",
5: "Vulnerable Files",
6: "Vulnerable Servers",
7: "Error Messages",
8: "File Containing Juicy Info",
9: "File Containing Passwords",
10: "Sensitive Online Shopping Info",
11: "Network or Vulnerability Data",
12: "Pages Containing Login Portals",
13: "Various Online devices",
14: "Advisories and Vulnerabilities",
}
将所有 dork 写入 all_google_dorks.txt、all_google_dorks.json,如果你想要更多关于每个 dork 的上下文数据,也可以写入各个类别文件。
python ghdb_scraper.py -s -j -i
ghdb_scraper.retrieve_google_dorks() 函数返回一个具有以下数据结构的字典:
ghdb_dict = {
"total_dorks": total_dorks,
"extracted_dorks": extracted_dorks,
"category_dict": category_dict,
}
使用 Python shell(如 python 或 ipython)来探索数据:
import ghdb_scraper
dorks = ghdb_scraper.retrieve_google_dorks(save_all_dorks_to_file=True)
dorks.keys()
dorks["total_dorks"]
dorks["extracted_dorks"]
dorks["category_dict"].keys()
dorks["category_dict"][1]["category_name"]
python pagodo.py -d example.com -g dorks.txt
pagodo.Pagodo.go() 函数返回一个字典,其数据结构如下(所使用的 dorks 为虚构示例):
{
"dorks": {
"inurl:admin": {
"urls_size": 3,
"urls": [
"https://github.com/marmelab/ng-admin",
"https://github.com/settings/admin",
"https://github.com/akveo/ngx-admin",
],
},
"inurl:gist": {
"urls_size": 3,
"urls": [
"https://gist.github.com/",
"https://gist.github.com/index",
"https://github.com/defunkt/gist",
],
},
},
"initiation_timestamp": "2021-08-27T11:35:30.638705",
"completion_timestamp": "2021-08-27T11:36:42.349035",
}
使用 Python shell(如 python 或 ipython)来探索数据:
import pagodo
pg = pagodo.Pagodo(
google_dorks_file="dorks.txt",
domain="github.com",
max_search_result_urls_to_return_per_dork=3,
save_pagodo_results_to_json_file=None, # None = Auto-generate file name, otherwise pass a string for path and filename.
save_urls_to_file=None, # None = Auto-generate file name, otherwise pass a string for path and filename.
verbosity=5,
)
pagodo_results_dict = pg.go()
pagodo_results_dict.keys()
pagodo_results_dict["initiation_timestamp"]
pagodo_results_dict["completion_timestamp"]
for key,value in pagodo_results_dict["dorks"].items():
print(f"dork: {key}")
for url in value["urls"]:
print(url)
-d 开关可用于将结果限定到特定域,其作用相当于 Google 搜索运算符:
site:github.com
-i - 指定 dork 搜索之间的最小延迟,单位为秒。不要设置得太小,否则你的 IP 会很快收到 HTTP 429 响应。-x - 指定 dork 搜索之间的最大延迟,单位为秒。不要设置得太大,否则搜索会耗费很长时间。-i 和 -x 提供的值用于生成一个包含 20 个随机等待时间的列表,在每次不同的 Google dork 搜索之间随机选取。
-m - 每次 Google dork 返回的最大搜索结果总数。每个 Google 搜索请求一次最多只能返回 100 条结果,因此如果你选择 -m 500,每次 Google dork 搜索将需要发起 5 次独立的搜索查询,这会增加完成所需的时间。
-o [可选/结果.json 的路径] - 将输出保存到 JSON 文件。如果你不指定文件名,将生成一个带日期时间戳的文件名。
-s [可选/结果.txt 的路径] - 将 URL 保存到文本文件。如果你不指定文件名,将生成一个带日期时间戳的文件名。
--log [可选/日志文件.log 的路径] - 将日志保存到指定文件。如果你不指定文件名,将使用 pagodo 目录根下的默认文件 pagodo.py.log。
以尽可能快的速度向 Google 发起 7300 多次搜索请求根本行不通。Google 会理所当然地将其检测为机器人行为,并在一定时间内封锁你的 IP。一种解决方案是使用一组 HTTP(S)/SOCKS 代理,并将它们传递给 pagodo。
使用 -p 开关将逗号分隔的代理字符串传递给 pagodo。
python pagodo.py -g dorks.txt -p http://myproxy:8080,socks5h://127.0.0.1:9050,socks5h://127.0.0.1:9051
你甚至可以减小 -i 和 -x 的值,因为你会利用不同的代理 IP。传递给 pagodo 的代理按轮询方式选择。
另一种解决方案是使用 proxychains4 对查询进行轮询。
安装 proxychains4
apt install proxychains4 -y
编辑 /etc/proxychains4.conf 配置文件,以轮询方式通过不同的代理服务器进行查找。在下面的示例中,已设置 2 个不同的动态 socks 代理,它们使用不同的本地监听端口(9050 和 9051)。
vim /etc/proxychains4.conf
round_robin
chain_len = 1
proxy_dns
remote_dns_subnet 224
tcp_read_time_out 15000
tcp_connect_time_out 8000
[ProxyList]
socks4 127.0.0.1 9050
socks4 127.0.0.1 9051
在 pagodo.py 脚本前加上 proxychains4,每次 request 查询都会经过不同的代理(因而来自不同的 IP)。
proxychains4 python pagodo.py -g dorks/all_google_dorks.txt -o [optional/path/to/results.json] -s [optional/path/to/results.txt]
请注意,如果你执行以下操作,这在 Google 看来可能显得不自然:
google.com因此,更推荐使用内置的 -p 代理支持,因为正如 yagooglesearch
文档所述,“所提供的代理会用于搜索的整个生命周期,使其看起来更像人类行为,而不是在搜索的不同阶段轮换使用各种代理。”
基于 GNU General Public License v3.0 分发。更多信息请参见 LICENSE。