
pagodo (수동 Google Dork) - Google 해킹 데이터베이스 스크래핑 및 검색 자동화
이 저장소는 아카이브되었으며 더 이상 유지 관리되지 않습니다.
2026년 7월/8월에 Google은 검색 결과가 반환되는 방식을 변경하여 pagodo가 사용하는 yagooglesearch 라이브러리를 신뢰할 수 없게 만들었습니다. yagooglesearch의 기반이 된 라이브러리인 googlesearch는 2026년 2월 13일에 아카이브되었습니다. 해당 이슈 트래커에도 검색 결과가 더 이상 나타나지 않는 문제가 기록되어 있습니다.
그 결과, 이 저장소는 2026년 11월 1일에 아카이브되었으며 더 이상 유지 관리되지 않습니다.
배경 정보:
pagodo는 인터넷상의 잠재적으로 취약한 웹 페이지와 애플리케이션을 대상으로 Google 검색을 자동화합니다. 웹 GUI 브라우저에서 수동으로 Google dork 검색을 수행하는 것을 대체합니다.
구성 요소는 2가지입니다. 첫 번째는 최신 Google dork를 가져오는 ghdb_scraper.py이고, 두 번째는 ghdb_scraper.py가 수집한 정보를 활용하는 pagodo.py입니다.
핵심 Google 검색 라이브러리는 이제 googlesearch 대신 더 유연한 yagooglesearch를 사용합니다. 라이브러리 차이점과 기능에 대한 더 자세한 설명은 yagooglesearch README를 확인하세요.
이 버전의 pagodo는 네이티브 HTTP(S) 및 SOCKS5 애플리케이션 지원도 제공하므로, 프록시 지원이 필요할 때 proxychains4 같은 도구로 감쌀 필요가 없습니다. -p 스위치를 사용하여 쉼표로 구분된 프록시 문자열을 제공하면 여러 프록시를 라운드 로빈 방식으로 사용하도록 지정할 수 있습니다.
Offensive Security는 다음 위치에서 Google Hacking Database(GHDB)를 유지 관리합니다: https://www.exploit-db.com/google-hacking-database. 이는 dork라고 불리는 Google 검색의 모음으로, Google의 검색 봇이 수집하는 잠재적으로 취약한 박스나 기타 유용한 정보를 찾는 데 사용할 수 있습니다.
pagodo의 약관은 yagooglesearch에 명시된 약관과 동일합니다.
이 코드는 있는 그대로 제공되며, 사용 방식에 대한 모든 책임은 사용자에게 있습니다. Google 검색 결과를 스크래핑하는 것은 Google의 서비스 약관을 위반할 수 있습니다. 다른 Python Google 검색 라이브러리에는 이에 관한 흥미로운 정보/논의가 있었습니다:
Google이 선호하는 방법은 Google의 API를 사용하는 것입니다.
스크립트는 Python 3.6+용으로 작성되었습니다. git 저장소를 복제하고 요구 사항을 설치하세요.
git clone https://github.com/opsdisk/pagodo.git
cd pagodo
python3 -m venv .venv # If using a virtual environment.
source .venv/bin/activate # If using a virtual environment.
pip install --upgrade pip setuptools
pip install -r requirements.txt
시작하기 위해 pagodo.py는 현재의 모든 Google dork 목록이 필요합니다. 이 저장소에는 ghdb_scraper.py가 마지막으로 실행되었을 때의 최신 dork가 담긴 dorks/ 디렉터리가 포함되어 있습니다. pagodo.py를 실행하기 전에 ghdb_scraper.py를 실행하여 최신 데이터를 가져오는 것이 권장됩니다. dorks/ 디렉터리에는 다음이 포함됩니다:
all_google_dorks.txt 파일all_google_dorks.json 파일Dork 카테고리:
categories = {
1: "Footholds",
2: "File Containing Usernames",
3: "Sensitives Directories",
4: "Web Server Detection",
5: "Vulnerable Files",
6: "Vulnerable Servers",
7: "Error Messages",
8: "File Containing Juicy Info",
9: "File Containing Passwords",
10: "Sensitive Online Shopping Info",
11: "Network or Vulnerability Data",
12: "Pages Containing Login Portals",
13: "Various Online devices",
14: "Advisories and Vulnerabilities",
}
모든 dork를 all_google_dorks.txt, all_google_dorks.json에 작성하고, 각 dork에 대한 더 많은 맥락 정보를 원한다면 개별 카테고리에도 작성하세요.
python ghdb_scraper.py -s -j -i
ghdb_scraper.retrieve_google_dorks() 함수는 다음 데이터 구조를 가진 딕셔너리를 반환합니다:
ghdb_dict = {
"total_dorks": total_dorks,
"extracted_dorks": extracted_dorks,
"category_dict": category_dict,
}
Python 셸(python 또는 ipython 등)을 사용하여 데이터를 탐색합니다:
import ghdb_scraper
dorks = ghdb_scraper.retrieve_google_dorks(save_all_dorks_to_file=True)
dorks.keys()
dorks["total_dorks"]
dorks["extracted_dorks"]
dorks["category_dict"].keys()
dorks["category_dict"][1]["category_name"]
python pagodo.py -d example.com -g dorks.txt
pagodo.Pagodo.go() 함수는 아래 데이터 구조를 가진 딕셔너리를 반환합니다(사용된 dork는 예시로 만든 것입니다):
{
"dorks": {
"inurl:admin": {
"urls_size": 3,
"urls": [
"https://github.com/marmelab/ng-admin",
"https://github.com/settings/admin",
"https://github.com/akveo/ngx-admin",
],
},
"inurl:gist": {
"urls_size": 3,
"urls": [
"https://gist.github.com/",
"https://gist.github.com/index",
"https://github.com/defunkt/gist",
],
},
},
"initiation_timestamp": "2021-08-27T11:35:30.638705",
"completion_timestamp": "2021-08-27T11:36:42.349035",
}
Python 셸(python 또는 ipython 등)을 사용하여 데이터를 탐색합니다:
import pagodo
pg = pagodo.Pagodo(
google_dorks_file="dorks.txt",
domain="github.com",
max_search_result_urls_to_return_per_dork=3,
save_pagodo_results_to_json_file=None, # None = Auto-generate file name, otherwise pass a string for path and filename.
save_urls_to_file=None, # None = Auto-generate file name, otherwise pass a string for path and filename.
verbosity=5,
)
pagodo_results_dict = pg.go()
pagodo_results_dict.keys()
pagodo_results_dict["initiation_timestamp"]
pagodo_results_dict["completion_timestamp"]
for key,value in pagodo_results_dict["dorks"].items():
print(f"dork: {key}")
for url in value["urls"]:
print(url)
-d 스위치는 결과를 특정 도메인으로 범위를 지정하는 데 사용할 수 있으며 Google 검색 연산자로 기능합니다:
site:github.com
-i - dork 검색 사이의 최소 지연 시간을 초 단위로 지정합니다. 너무 작게 설정하지 마세요. 그렇지 않으면 IP가 빠르게 HTTP 429 응답을 받게 됩니다.-x - dork 검색 사이의 최대 지연 시간을 초 단위로 지정합니다. 너무 크게 설정하지 마세요. 그렇지 않으면 검색에 오랜 시간이 걸립니다.-i와 -x로 제공된 값은 20개의 무작위 대기 시간 목록을 생성하는 데 사용되며, 이 목록에서 각기 다른 Google dork 검색 사이에 무작위로 선택됩니다.
-m - Google dork당 반환할 최대 총 검색 결과 수입니다. 각 Google 검색 요청은 한 번에 최대 100개의 결과만 가져올 수 있으므로, -m 500을 선택하면 각 Google dork 검색마다 5개의 별도 검색 쿼리가 수행되어야 하며, 이는 완료까지 걸리는 시간을 증가시킵니다.
-o [optional/path/to/results.json] - 출력을 JSON 파일로 저장합니다. 파일 이름을 지정하지 않으면 날짜-시간이 포함된 파일 이름이 생성됩니다.
-s [optional/path/to/results.txt] - URL을 텍스트 파일로 저장합니다. 파일 이름을 지정하지 않으면 날짜-시간이 포함된 파일 이름이 생성됩니다.
--log [optional/path/to/file.log] - 로그를 지정된 파일에 저장합니다. 파일 이름을 지정하지 않으면 pagodo 디렉터리 루트의 기본 파일 pagodo.py.log가 사용됩니다.
가능한 한 빠르게 Google에 7300개 이상의 검색 요청을 수행하는 것은 단순히 작동하지 않습니다. Google은 이를 봇으로 정당하게 감지하고 일정 기간 동안 IP를 차단할 것입니다. 한 가지 해결책은 HTTP(S)/SOCKS 프록시 풀을 사용하여 pagodo에 전달하는 것입니다.
-p 스위치를 사용하여 쉼표로 구분된 프록시 문자열을 pagodo에 전달합니다.
python pagodo.py -g dorks.txt -p http://myproxy:8080,socks5h://127.0.0.1:9050,socks5h://127.0.0.1:9051
-i와 -x 값을 줄일 수도 있습니다. 서로 다른 프록시 IP를 활용하게 되기 때문입니다. pagodo에 전달되는 프록시는 라운드 로빈 방식으로 선택됩니다.
또 다른 해결책은 proxychains4를 사용하여 조회를 라운드 로빈하는 것입니다.
proxychains4 설치
apt install proxychains4 -y
/etc/proxychains4.conf 구성 파일을 편집하여 서로 다른 프록시 서버를 통해 라운드 로빈 방식으로 조회하도록 설정합니다. 아래 예시에서는 서로 다른 로컬 수신 포트(9050 및 9051)를 사용하는 2개의 서로 다른 동적 socks 프록시가 설정되어 있습니다.
vim /etc/proxychains4.conf
round_robin
chain_len = 1
proxy_dns
remote_dns_subnet 224
tcp_read_time_out 15000
tcp_connect_time_out 8000
[ProxyList]
socks4 127.0.0.1 9050
socks4 127.0.0.1 9051