webanalyze

Это порт Wappalyzer на Go. Инструмент создан для высокой производительности и позволяет проверять огромные списки хостов.

[!NOTE] Поскольку Wappalyzer закрыл публичный доступ к своим определениям приложений, webanalyze в настоящее время загружает определения из enthec.

Установка и использование

Готовые сборки

Готовые сборки можно скачать напрямую здесь.

Сборка

Если вы хотите собрать самостоятельно:

$ go install -v github.com/rverton/webanalyze/cmd/webanalyze@latest

Использование

$ webanalyze -update # загружает новый файл technologies.json из проекта wappalyzer
$ webanalyze -h
Usage of webanalyze:
  -apps string
        файл с определениями приложений. (default "technologies.json")
  -crawl int
        количество ссылок для перехода с главной страницы (default 0)
  -header value
        пользовательский HTTP-заголовок запроса, можно указывать несколько раз (например, 'User-Agent: webanalyze')
  -host string
        одиночный хост для проверки
  -hosts string
        имя файла с хостами, по одному хосту на строку.
  -output string
        формат вывода (stdout|csv|json) (default "stdout")
  -search
        ищет все URL-адреса с тем же базовым доменом (т.е. example.com и sub.example.com) (default true)
  -silent
	    не выводить заголовок (default false)
  -update
        обновить файл приложений
  -worker int
        количество воркеров (default 4)

Флаг -update загружает актуальную версию technologies.json из enthec.

Пользовательские заголовки запросов можно указывать несколько раз:

$ webanalyze -host example.com -header "User-Agent: Mozilla/5.0" -header "Authorization: Bearer token"

Docker

# Клонируем репозиторий
git clone https://github.com/rverton/webanalyze.git
# Собираем контейнер
docker build -t webanalyze:latest webanalyze
# Запускаем контейнер
docker run -it webanalyze:latest -h

Разработка / Использование в качестве библиотеки

Пример использования в качестве библиотеки см. в cmd/webanalyze/main.go.

Пример

$ ./webanalyze -host robinverton.de -crawl 1
 :: webanalyze        : v1.0
 :: workers           : 4
 :: apps              : technologies.json
 :: crawl count       : 1
 :: search subdomains : true

https://robinverton.de/hire/ (0.5s):
    Highlight.js,  (Miscellaneous)
    Netlify,  (Web Servers, CDN)
    Google Font API,  (Font Scripts)
http://robinverton.de (0.8s):
    Highlight.js,  (Miscellaneous)
    Netlify,  (Web Servers, CDN)
    Hugo, 0.42.1 (Static Site Generator)
    Google Font API,  (Font Scripts)

$ ./webanalyze -host robinverton.de -crawl 1 -output csv
 :: webanalyze        : v1.0
 :: workers           : 4
 :: apps              : technologies.json
 :: crawl count       : 1
 :: search subdomains : true

Host,Category,App,Version
https://robinverton.de/hire/,Miscellaneous,Highlight.js,
https://robinverton.de/hire/,Font Scripts,Google Font API,
https://robinverton.de/hire/,"Web Servers,CDN",Netlify,
http://robinverton.de,"Web Servers,CDN",Netlify,
http://robinverton.de,Static Site Generator,Hugo,0.42.1
http://robinverton.de,Miscellaneous,Highlight.js,
http://robinverton.de,Font Scripts,Google Font API,

webanalyze v0.4.5

Категории