Dorkwright — инструмент для Google доркинга

Dorkwright — это мощная утилита для Google доркинга на Python, которая автоматизирует извлечение ссылок на файлы из результатов поиска Google и при необходимости загружает их. Она использует Playwright для автоматизации браузера и включает обработку CAPTCHA, индикаторы прогресса и чистый CLI-интерфейс.

Возможности

Автоматизированный Google доркинг (парсинг результатов поиска)
Извлечение URL файлов (PDF, DOC, XLS и т.д.)
Опциональная автоматическая загрузка файлов
Распознавание CAPTCHA (ожидает решения пользователем)
Сохранение результатов в выходной файл
Поддержка массовой загрузки
Поддержка прокси для загрузок
Интеграция с FlareSolverr для обхода защиты Cloudflare
Быстрый и на Playwright

Использование

╔═══════════════════════════════════════════════════════════════════════════════╗
║                          DORKWRIGHT — Google Dorker                           ║
║         Извлечение ссылок на файлы из результатов поиска Google и загрузка    ║
╚═══════════════════════════════════════════════════════════════════════════════╝

options:
  -h, --help            показать это сообщение и выйти
  -q, --query QUERY     поисковый запрос Google (например, "site:example.com filetype:doc")
  -p, --pages N         максимальное количество страниц результатов для парсинга (по умолчанию: 10)
  -d, --delay SECONDS   задержка между запросами страниц для избежания CAPTCHA (по умолчанию: 3)
  -o, --output FILE     выходной файл для извлечённых ссылок (по умолчанию: file_links.txt)
  --download            загружать файлы после извлечения ссылок
  --download-dir DIR    каталог для сохранения загруженных файлов (по умолчанию: downloads)
  --input-file FILE     входной файл с URL для загрузки (пропустить поиск, если указан)
  --proxy URL           URL прокси-сервера (например, http://127.0.0.1:8080)
  --flaresolverr URL    конечная точка FlareSolverr для обхода Cloudflare

Примеры

Поиск и сохранение ссылок

dorkwright.py -q "site:example.com filetype:doc OR filetype:docx OR filetype:dot"
dorkwright.py -q "site:example.com filetype:pdf" -p 5 -o results.txt

Поиск и немедленная загрузка

dorkwright.py -q "site:example.com filetype:doc" --download --download-dir downloads

Загрузка из существующего списка файлов

dorkwright.py --input-file file_links.txt --download-dir my_files

Загрузка с прокси

# Использование HTTP-прокси
dorkwright.py --input-file file_links.txt --proxy http://127.0.0.1:8080

# Использование SOCKS5-прокси
dorkwright.py --input-file file_links.txt --proxy socks5://127.0.0.1:1080

Загрузка с FlareSolverr (обход Cloudflare)

# Загрузка из существующего файла с помощью FlareSolverr
dorkwright.py --input-file file_links.txt --flaresolverr http://localhost:8191

# Поиск и загрузка с FlareSolverr
dorkwright.py -q "site:example.com filetype:pdf" --download --flaresolverr http://localhost:8191

Установка

git clone https://github.com/San-Tus/Dorkwright
cd Dorkwright
python -m venv .venv

Активируйте виртуальное окружение:

ОС	Команда
Windows	`.venv\Scripts\activate`
Linux/macOS	`source .venv/bin/activate`

Установите необходимые пакеты:

pip install -r requirements.txt
playwright install chromium

Настройка FlareSolverr (опционально)

FlareSolverr — это прокси-сервер, который решает задачи Cloudflare, позволяя загружать файлы с сайтов, защищённых Cloudflare.

Инструкции по установке и настройке смотрите в официальной документации: https://github.com/FlareSolverr/FlareSolverr

Запуск скрипта

python dorkwright.py -h

Пример реального использования:

python dorkwright.py -q "site:gchq.gov.uk filetype:doc OR filetype:docx OR filetype:xls OR filetype:xlsx OR filetype:pdf" -p 10 --download --download-dir GCHQ

Пример вывода (парсинг + обработка CAPTCHA)

Searching Google for: site:gchq.gov.uk filetype:doc OR filetype:docx OR filetype:xls OR filetype:xlsx OR filetype:pdf
Max pages: 10
Delay between pages: 3s

Searching page 1...

============================================================
CAPTCHA DETECTED!
Please solve the CAPTCHA in the browser window.
Press ENTER here when done...
============================================================

Найденные ссылки отображаются так:

Found: https://www.gchq.gov.uk/files/CheltScienceFestivalTranscript.pdf
Found: https://www.gchq.gov.uk/files/NLCChallenge1_WT.pdf
...

Итоговый список извлечённых URL

============================================================
Found 77 unique file links:
============================================================
https://www.gchq.gov.uk/files/2020%20Christmas%20Card%20Solution.pdf
https://www.gchq.gov.uk/files/2020%20Christmas%20Card.pdf
https://www.gchq.gov.uk/files/2023%20GCHQ%20Christmas%20Challenge.pdf
https://www.gchq.gov.uk/files/2024%20Combined%20Pay%20Gap%20External%20-%20Updated.pdf
https://www.gchq.gov.uk/files/Answers.pdf
...
Saved 77 links to file_links.txt

Вывод автоматической загрузки

Когда включён --download:

Starting downloads...

Found 77 URLs to download
Saving to directory: GCHQ

  ✓  2020 Christmas Card Solution.pdf                       3.30 MB
  ✓  2020 Christmas Card.pdf                                2.45 MB
  ✓  2023 GCHQ Christmas Challenge.pdf                      6.15 MB
  ✓  2024 Combined Pay Gap External - Updated.pdf         489.67 KB
  ✓  Answers.pdf                                         1016.25 KB
...

Пример статистики загрузки

================================================================================
                              DOWNLOAD STATISTICS
================================================================================
  Total files processed:     77
  Successfully downloaded:   77
  Failed downloads:          0
  Total size:                261.16 MB
  Time elapsed:              35.15s
  Average speed:             7.43 MB/s

  File types downloaded:
    .pdf       :  77 files
================================================================================

Dorkwright

Популярное