ClickonceHunter

Инструмент выпущен в связке с Less SmartScreen More Caffeine: ClickOnce (Ab)Use for Trusted Code Execution — презентацией на конференции / статьёй в блоге от 0xthirteen и меня.

Веб-скрапер на Golang, использующий как chromedp, так и обычные HTTP-запросы для сбора опубликованных ClickOnce-приложений из поисковых систем. Поддерживает ротацию исходного IP-адреса через AWS API Gateway и указание HTTP-прокси для отладки. В настоящее время для скрапинга поддерживаются поисковые системы Google и Swisscows.

Благодарности

• Mike Felch — за проект fireprox, который позволил значительно упростить повторную реализацию на Golang
• Max Harley — за повторную реализацию большей части fireprox на Go для использования в этом проекте

Использование

Функциональность ClickonceHunter управляется через config.yml. В настоящее время приложение поддерживает два режима работы:

• create — укажите access-ключ и secret-ключ AWS в конфиге, и ClickonceHunter создаст эндпоинты AWS API Gateway для использования в ваших запросах к поисковым системам, а затем удалит их по завершении работы
• provided — создайте эндпоинт(ы) AWS API Gateway вручную или с помощью такого инструмента, как fireprox, и заполните ими поле(я) awsapigateway в конфиге

Значения в файле config.yml, относящиеся к поисковым запросам, включают:

• pages — количество страниц, запрашиваемых для каждого из указанных dorks
  • рекомендуемые максимальные значения для них указаны в комментарии внутри конфига
• iterations — количество запросов каждой страницы для каждого из указанных dorks; иногда при ротации исходного IP-адреса возвращаются уникальные результаты
  • всё, что превышает 3-5 итераций, может быть избыточным в зависимости от вашего сценария использования
• dorks — целевые поисковые запросы для указанной поисковой системы

Другие важные значения в файле config.yml:

• http proxy — если оставить это значение пустым, прокси использоваться не будет; если оно заполнено, все запросы будут проходить через указанный прокси и игнорировать предупреждения о сертификатах

Демо

https://user-images.githubusercontent.com/73311948/195764121-bc924984-82e7-44bf-9474-e7e5923bddb5.mp4

Примечания по реализации

Скрапинг Swisscows реализован с использованием протокола Chrome DevTools через проект chromedp. В поисковых запросах к Swisscows присутствуют проверки целостности, похожие на CSRF, которые реализованы в виде заголовков X-Request-Signature и X-Request-Nonce. Для каждого dork-запроса используется headless-браузер Chromium, который с помощью функции getSwissSecrets() открывает стартовую страницу Swisscows, а с помощью функции listenForSwissSecrets() создаётся обработчик событий для перехвата этих заголовков. Затем заголовки подставляются в наш dork-запрос для прохождения проверки целостности.

ClickonceHunter больше не парсит ссылки?!

Опция HTTP-прокси была добавлена, чтобы помочь пользователям диагностировать эту проблему, если/когда реализованные поисковые системы, как это неизбежно случится, изменят формат ответов или API-эндпоинты, используемые для выполнения запросов. PR приветствуются!

Почему тогда нет многопоточности...

Поддержка многопоточности / горутин для выполняемых поисковых запросов не реализована. Для задачи поиска опубликованных ClickOnce-приложений это не показалось необходимым.