getallurls (gau)

getallurls (gau) は、指定されたドメインについて、AlienVault の Open Threat Exchange、Wayback Machine、Common Crawl、および URLScan から既知の URL を取得します。Tomnomnom の waybackurls に触発されました。

リソース

• 使用方法
• インストール
• ohmyzsh に関する注意

使用方法:

例:

$ printf example.com | gau
$ cat domains.txt | gau --threads 5
$ gau example.com google.com
$ gau --o example-urls.txt example.com
$ gau --blacklist png,jpg,gif example.com

ツールのヘルプを表示するには -h フラグを使用します:

$ gau -h

フラグ	説明	例
--blacklist	スキップする拡張子のリスト	gau --blacklist ttf,woff,svg,png
--config	代替設定ファイルを使用する (デフォルトは $HOME/config.toml または %USERPROFILE%\.gau.toml)	gau --config $HOME/.config/gau.toml
--fc	フィルタリングするステータスコードのリスト	gau --fc 404,302
--from	指定した日付以降の URL を取得する (形式: YYYYMM)	gau --from 202101
--ft	フィルタリングする MIME タイプのリスト	gau --ft text/plain
--fp	同じエンドポイントの異なるパラメータを削除する	gau --fp
--json	JSON として出力する	gau --json
--mc	一致させるステータスコードのリスト	gau --mc 200,500
--mt	一致させる MIME タイプのリスト	gau --mt text/html,application/json
--o	結果を書き込むファイル名	gau --o out.txt
--providers	使用するプロバイダーのリスト (wayback,commoncrawl,otx,urlscan)	gau --providers wayback
--proxy	使用する HTTP プロキシ (socks5:// または http://	gau --proxy http://proxy.example.com:8080
--retries	HTTP クライアントのリトライ回数	gau --retries 10
--timeout	HTTP クライアントのタイムアウト (秒)	gau --timeout 60
--subs	対象ドメインのサブドメインを含める	gau example.com --subs
--threads	起動するワーカーの数	gau example.com --threads
--to	指定した日付以前の URL を取得する (形式: YYYYMM)	gau example.com --to 202101
--verbose	詳細な出力を表示する	gau --verbose example.com
--version	gau のバージョンを表示する	gau --version

設定ファイル

gau は $HOME/.gau.toml または %USERPROFILE%\.gau.toml にある設定ファイルを自動的に探します。--config フラグを使用して別の設定ファイルを指定できます。設定ファイルが見つからない場合でも、gau はデフォルト設定で実行されますが、stderr にメッセージを出力します。

オプションを指定すると、それ以降の gau の実行すべてで使用されます。コマンドラインフラグで指定されたオプションは、設定ファイルで設定されたオプションを上書きします。

設定ファイルの例はこちらにあります。

インストール:

ソースから:

$ go install github.com/lc/gau/v2/cmd/gau@latest

GitHub から:

git clone https://github.com/lc/gau.git; \
cd gau/cmd/gau; \
go build; \
sudo mv gau /usr/local/bin/; \
gau --version;

バイナリから:

releases ページからビルド済みバイナリをダウンロードし、$PATH に移動できます。

$ tar xvf gau_2.0.6_linux_amd64.tar.gz
$ mv gau /usr/bin/gau

Docker から:

次のようにして docker 経由で gau を実行できます:

docker run --rm sxcurity/gau:latest --help

次のコマンドで docker イメージをビルドすることもできます

docker build -t gau .

そして実行します

docker run gau example.com

パイプコマンド (echo "example.com" | gau) は docker コンテナでは動作しないことに注意してください

ohmyzsh に関する注意:

ohmyzsh の git プラグインには、gau を git add --update コマンドにマッピングするエイリアスがあります。これは問題があり、このツール「gau」と zsh プラグインのエイリアス「gau」(git add --update) の間でバイナリの競合を引き起こします。現在、いくつかの回避策があり、この GitHub の issue で確認できます。

役に立ちましたか？

CommonCrawl に寄付する
InternetArchive に寄付する