webanalyze

これはWappalyzerのGo移植版です。このツールは高性能になるように設計されており、膨大なホストリストをテストすることができます。

[!NOTE] Wappalyzerがアプリ定義への公開アクセスを削除したため、webanalyzeは現在enthecから定義を読み込みます。

インストールと使用方法

コンパイル済みリリース

コンパイル済みリリースはこちらから直接ダウンロードできます。

ビルド

自分でビルドする場合:

$ go install -v github.com/rverton/webanalyze/cmd/webanalyze@latest

使用方法

$ webanalyze -update # wappalyzerプロジェクトから新しいtechnologies.jsonファイルを読み込みます
$ webanalyze -h
Usage of webanalyze:
  -apps string
        app definition file. (default "technologies.json")
  -crawl int
        links to follow from the root page (default 0)
  -header value
        custom HTTP request header, repeatable (e.g. 'User-Agent: webanalyze')
  -host string
        single host to test
  -hosts string
        filename with hosts, one host per line.
  -output string
        output format (stdout|csv|json) (default "stdout")
  -search
        searches all urls with same base domain (i.e. example.com and sub.example.com) (default true)
  -silent
	    avoid printing header (default false)
  -update
        update apps file
  -worker int
        number of worker (default 4)

-updateフラグはenthecから現在のバージョンのtechnologies.jsonをダウンロードします。

カスタムリクエストヘッダーは複数回指定できます:

$ webanalyze -host example.com -header "User-Agent: Mozilla/5.0" -header "Authorization: Bearer token"

Docker

# Clone the repo
git clone https://github.com/rverton/webanalyze.git
# Build the container
docker build -t webanalyze:latest webanalyze
# Run the container
docker run -it webanalyze:latest -h

開発 / ライブラリとしての使用

ライブラリとしての使用例については、cmd/webanalyze/main.goを参照してください。

例

$ ./webanalyze -host robinverton.de -crawl 1
 :: webanalyze        : v1.0
 :: workers           : 4
 :: apps              : technologies.json
 :: crawl count       : 1
 :: search subdomains : true

https://robinverton.de/hire/ (0.5s):
    Highlight.js,  (Miscellaneous)
    Netlify,  (Web Servers, CDN)
    Google Font API,  (Font Scripts)
http://robinverton.de (0.8s):
    Highlight.js,  (Miscellaneous)
    Netlify,  (Web Servers, CDN)
    Hugo, 0.42.1 (Static Site Generator)
    Google Font API,  (Font Scripts)

$ ./webanalyze -host robinverton.de -crawl 1 -output csv
 :: webanalyze        : v1.0
 :: workers           : 4
 :: apps              : technologies.json
 :: crawl count       : 1
 :: search subdomains : true

Host,Category,App,Version
https://robinverton.de/hire/,Miscellaneous,Highlight.js,
https://robinverton.de/hire/,Font Scripts,Google Font API,
https://robinverton.de/hire/,"Web Servers,CDN",Netlify,
http://robinverton.de,"Web Servers,CDN",Netlify,
http://robinverton.de,Static Site Generator,Hugo,0.42.1
http://robinverton.de,Miscellaneous,Highlight.js,
http://robinverton.de,Font Scripts,Google Font API,

webanalyze v0.4.5

カテゴリ