git-all-secrets

概要

git-all-secrets は以下のことが可能なツールです：

• 組織の複数の公開/非公開 GitHub リポジトリをクローンし、スキャンする、
• 組織に所属するユーザーの複数の公開/非公開 GitHub リポジトリをクローンし、スキャンする、
• 組織の単一の公開/非公開リポジトリをクローンし、スキャンする、
• ユーザーの単一の公開/非公開リポジトリをクローンし、スキャンする、
• ユーザーの単一の公開/シークレット gist をクローンし、スキャンする、
• 組織内のチームのリポジトリをクローンし、スキャンする、
• 上記すべてを同時に行う！ そうです！ 組織名を指定するだけで、すべてのシークレットを取得できます。組織内のチームのシークレットも取得したい場合は、組織名と一緒にチーム名を指定するだけです。
• GitHub Enterprise のリポジトリや gist もクローンしてスキャンします。

スキャンは、以下のような複数のオープンソースツールによって行われます：

• truffleHog - コミット内の高エントロピー文字列とユーザー指定の正規表現をスキャン、
• repo-supervisor - .js および .json ファイル内の高エントロピー文字列をスキャン

注 - 今後、必要に応じてこのようなツールを追加することができます！ 注 - スキャンは、toolName フラグを指定することで、すべてのツールを使用することも、いずれか 1 つのツールを使用することもできます。

すべてのツールを使用してスキャンした場合、ツールの最終的な出力は、すべてのツールからのすべてのファイルの出力を 1 つの統合された出力ファイルに結合します。

はじめに

git-all-secrets を実行する最も簡単な方法は Docker を使用することです。Docker がまだインストールされていない場合は、インストールすることを強くお勧めします。Docker がインストールされたら、

• docker run --rm -it abhartiya/tools_gitallsecrets --help と入力して、入力として受け取れるさまざまなフラグを理解します。
• スキャンしたいものが決まったら、docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> のように入力します。スキャンに使用する特定のツールを指定するには、docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=<> のように入力します。オプションは thog と repo-supervisor です。
• デフォルトの正規表現と高エントロピー設定の両方で truffleHog を実行したい場合は、次のように thogEntropy フラグを指定します：docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=thog -thogEntropy。
• コンテナの実行が完了したら、docker ps -a と入力してコンテナ ID を取得します。
• コンテナ ID を取得したら、docker cp <container-id>:/root/results.txt . と入力して、コンテナからホストに結果ファイルを取得します。

フラグ/オプション

• -token = GitHub の個人用アクセストークン。認証されていない GitHub API へのリクエストはすぐにレート制限に達する可能性があるため、これが必要です。

• -org = スキャンする組織の名前。これにより、組織内のすべての公開リポジトリ、および組織内のすべてのユーザーのすべてのリポジトリと gist がスキャンされます。この組織のメンバーであるユーザーのトークンを使用している場合、そのユーザーに属するすべてのシークレット gist と、そのユーザーがアクセスできる組織内のすべての非公開リポジトリもクローンしてスキャンします。ただし、この組織に属するこのユーザーの非公開リポジトリはクローンおよびスキャンしません。ユーザーの非公開リポジトリをスキャンするには、SSH キーをボリュームにマウントした状態で、user フラグとともに scanPrivateReposOnly フラグを使用してください。

• -user = スキャンするユーザーの名前。これにより、このユーザーのすべてのリポジトリと gist がスキャンされます。指定されたトークンがユーザーのトークンである場合、シークレット gist もクローンおよびスキャンされます。ただし、公開リポジトリのみがクローンおよびスキャンされます。このユーザーの非公開リポジトリをスキャンするには、SSH キーをボリュームにマウントした状態で、user フラグとともに scanPrivateReposOnly フラグを使用してください。

• -repoURL = スキャンするリポジトリの HTTPS URL。このリポジトリのみをスキャンします。公開リポジトリの場合は、リポジトリの https URL を指定すれば十分です。ただし、非公開リポジトリをスキャンしたい場合は、SSH キーをボリュームにマウントし、scanPrivateReposOnly フラグとともに ssh URL を指定する必要があります。

• -gistURL = スキャンする Gist の HTTPS URL。この gist のみをスキャンします。URL を持っていれば、公開 gist かシークレット gist かは関係ありません。シークレット gist であっても、誰かがその HTTPS URL を知っていればアクセスできます。

• -output = すべての結果が保存されるファイルの名前。デフォルトは results.txt です。

• -cloneForks = 組織およびユーザーリポジトリのフォークをクローンするためのオプションのブール値フラグ。デフォルトは 0、つまりフォークをクローンしません。フォークをクローンする場合は、この値を に設定する必要があります。または、他のフラグと一緒に と指定するだけです。

注意

• token フラグは必須です。これは空にできません。

• org、user、repoURL、gistURL のすべてを同時に空にすることはできません。これらの値のうち 1 つだけを指定する必要があります。すべてまたは複数の値を一緒に指定した場合、優先順位は org > user > repoURL > gistURL となります。たとえば、-org=secretorg123 と -user=secretuser1 の両方のフラグを同時に指定すると、ツールは org 値と一緒に他のものは必要ないと警告します。特定のユーザーに対してのみ実行するには、org フラグではなく user フラグのみを指定する必要があります。

• scanPrivateReposOnly フラグを指定する場合：

プライベートリポジトリのスキャン

プライベートリポジトリをスキャンする最も安全な方法は、SSH URL を使用してクローンすることです。これを実現するには、GitHub ユーザーに追加された適切な SSH キーを配置する必要があります。GitHub にはアカウント設定に関する役立つドキュメントがあります。このキーにパスフレーズが設定されていないことを確認してください。SSH キーを用意したら、ボリュームを介して Docker コンテナにマウントするだけです。以下のコマンドを入力するだけで簡単です：

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -user=<> -scanPrivateReposOnly

または

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -repoURL=<> -scanPrivateReposOnly

ここでは、ローカルに保存されている個人用 SSH キー id_rsa_personal をコンテナ内の /root/.ssh/id_rsa にマッピングしています。これにより、git-all-secrets は ssh 経由でリポジトリをクローンしようとし、コンテナ内の /root/.ssh/id_rsa に保存されている SSH キーを使用します。このようにして、コンテナ内に機密情報を実際に保存することはありません。ローカルマシンからファイルを使用しているだけです。コンテナが破棄されると、このキーへのアクセスは失われます。

組織チームのスキャン

GitHub API は、非公開リポジトリが報告される状況を制限しています。管理者ではないユーザーで組織をスキャンしようとする場合、ユーザーにリポジリアクセスを提供するチームを指定する必要があるかもしれません。これを行うには、org フラグとともに teamName フラグを使用します。以下に例を示します：

docker run --it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -org=<> -teamName <>

GitHub Enterprise のスキャン

git-all-secrets は GitHub Enterprise のスキャンもサポートするようになりました。VPN の背後などに独自の GitHub Enterprise をホストしている場合は、GitHub Enterprise リポジトリにアクセスできる VPN または適切なネットワークに接続していることを確認してください。enterpriseURL は GitHub Enterprise リポジトリをスキャンするために必要なものです。以下にいくつかの例を示します：

例 1：

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git

ここでは、GitHub Enterprise の SSH キーをコンテナにマウントし、その後に個人用アクセストークン、リクエストが送信されるエンタープライズ URL、スキャンしたいリポジトリを指定しています。

例 2：

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git -toolName thog -thogEntropy

上記では、エントロピー設定を使用してリポジトリに対して truffleHog だけを実行しています。

例 3：

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -user <username> -scanPrivateReposOnly

上記では、トークンが提供されたユーザーの非公開リポジトリのみを、すべてのツール（repo-supervisor と thog）でスキャンしていますが、truffleHog のエントロピー設定は使用していません。

TODO

• チームスキャン機能のテスト
• Goroutine バグの修正 - おそらく完了！
• GitHub Enterprise のスキャン対応 - 完了！
• 組織の非公開リポジトリのクローンとスキャンのサポート - 完了！
• gitsecrets を truffleHog の新しい正規表現機能で置き換え - 完了！
• SSH キーによるユーザーの非公開リポジトリのスキャンサポート追加 - 完了！
• フォークをスキャンしないフラグ追加 - 完了！

詳細

機能

• rules.json ファイルに独自の正規表現を追加し、docker run の実行時に -v $(pwd)/rules.json:/root/truffleHog/rules.json 引数を使用して含めることができます。
• ツールはいくつかのデフォルトの正規表現を探します。必要に応じて、高エントロピー文字列を探すようにすることもできます。これらはすべて truffleHog ツールを介して行われます。
• repo-supervisor ツールを介して .js および .json ファイル内の高エントロピー文字列を探すことができます。
• ほとんどのツールが行わない、ユーザーの gist もスキャンします。
• 新しい優れたツールがあれば、git-all-secrets にかなり簡単に統合できます。
• 他のツールやフレームワークとの統合用に構築されています。いくつかの入力パラメータを受け取り、結果の出力ファイルを生成します。非常に簡単です！
• GitHub Enterprise の組織/ユーザー/リポジトリ/gist のスキャンもサポートしています。
• 世の中のほとんどのツールは個々のリポジトリをスキャンするように作られています。複数のリポジトリにわたってループさせたい場合は、シェルスクリプトなどで独自の for ループを記述する必要があります。git-all-secrets は複数のリポジトリを一度にスキャンするのに役立ちます。
• 両方のツールからの出力を JSON ファイルにマージできるようになりました。これは他の自動化タイプのツール/フレームワークで使用できます。

動機

GitHub リポジトリ内のシークレットを探すために使用できる可能性のある多数のオープンソースツールを調査しました。優れていると思った主要なツールは、gitrob、truffleHog、git-secrets です。

Gitrob はスタンドアロンツールとして設計されており、独自のデータベースと UI を持ち、発見されたすべてのシークレットを表示するため、他のツールとの統合がかなり困難です。また、truffleHog よりも多くの偽陽性を生成します。さらに、発見されたシークレットを実際に強調表示しません。ファイルとその拡張子だけを見て、実際の内容は見ません。そのため、Gitrob は使い始めるのに優れたツールですが、攻撃対象領域がどのように見えるかを理解し、変更があったかどうかを確認するために、ときどき実行することをお勧めします。

次に、シャノンのエントロピーを調べてファイルの実際の内容からシークレットを探し、出力を画面に表示する truffleHog があります。リポジトリ URL またはリポジトリディレクトリを引数として受け取ります。これはかなり優れたツールですが、偽陽性もあります。その他の欠点は次のとおりです：

• 複数のリポジトリを含むディレクトリを再帰的にスキャンするために使用できません。
• truffleHog を使用して、特定のパターンに従うが十分なエントロピーを持たないシークレットを識別する方法がありません。つまり、既知ではあるがシークレットと見なされるのに十分なエントロピーを持たないシークレットを探すことができません。
• 出力が画面に表示されるため、自動化にはあまり役立ちません。

最後に、AWS シークレットなどをフラグ付けできる git-secrets があります。最も優れている点は、ツールが探すべき既知のシークレットに対して独自の正規表現を追加できることです。主な欠点は、truffleHog のように高エントロピー文字列を見つけるのに適していないことです。また、スキャンできるのはリポジトリである特定のディレクトリのみで、リポジトリのディレクトリからの再帰スキャンはできません。

このように、世の中には優れたツールがありますが、それらを何らかの方法で組み合わせる必要がありました。また、1 つだけでなく複数のリポジトリを再帰的にスキャンする必要性もありました。そして gist はどうでしょうか？ 組織やユーザーが存在します。そして組織やユーザー用のリポジトリがあります。ユーザーによる gist もあります。これらすべてをスキャンする必要があります。そして、自動化可能で他のツール/フレームワークで簡単に利用できるようにスキャンする必要があります。

変更履歴

• 2/9/19 - スキャン中に一部のリポジトリ名をスキップする blacklist フラグを追加しました。@sjqnn さん、PR ありがとうございます。新しい Docker イメージをビルドしてプッシュしました。GLHF！

• 7/31/18 - pip を使用して trufflehog のインストールを簡素化しました。@mhmdiaa が trufflehog の出力関数に関するバグ（マージとソートが正しく行われていなかった）を修正しました。password などを含むように正規表現ファイルを更新しました。新しい Docker イメージをビルドしてプッシュしました。GLHF！

• 7/15/18 - 上流に変更があったため、repo-supervisor のフォークを更新しました。最新の Trufflehog を使用して新しい Docker イメージを再ビルドしました。Trufflehog がシークレットを見つけるために使用するすべての正規表現を含む rules.json ファイルを提供しました。-mergeOutput フラグを使用して、両方のツールの出力（JSON）をマージする機能を追加しました。マルチステージビルドと dep を使用して依存関係を管理することで、Docker イメージサイズを大幅に削減しました。これらすべてについて、@mhmdiaa に大きな感謝を送ります！

• 12/12/17 - 一部の大きなリポジトリでは、truffleHog が失敗して終了します。しかし、そこで止めたくはありません。ユーザーにそのリポジトリのスキャンが失敗したことを通知し、他のリポジトリのスキャンを続行したいと考えています。これは最新の Docker イメージに実装されています。

• 12/11/17 - gitsecrets を削除しました。truffleHog が正規表現機能をサポートしているためです。rules.json ファイルに正規表現を追加し、Docker イメージを再ビルドするだけで、以前 gitsecrets が提供していた機能が基本的に得られるため、gitsecrets は不要になりました。また、GitHub Enterprise のリポジトリと gist のスキャンサポートを追加しました。@high-stakes が、スレッド数を制限することで Goroutine のバグを（おそらく）修正する PR をマージするのを手伝ってくれました。最後に、組織の非公開リポジトリのスキャンサポートも追加しました。

• 12/08/17 - truffleHog の独自のフォークを削除しました。現在は上流バージョンと、truffleHog の新しい正規表現機能 + エントロピーモードを使用しています。近いうちに、いくつかの問題が修正されれば、gitsecrets と repo supervisor の両方を truffleHog だけで置き換えられると思います。

• 12/07/17 - さまざまなフラグに関する詳細と説明をドキュメントに更新しました。

• 12/05/17 - SSH キーによる非公開リポジトリのスキャンサポートを統合しました。これは長い間要望があった機能で、ついに実現しました。また、Docker イメージのタグスキームを変更しました。今後、最新のイメージには latest タグが付きます。以前のバージョンにはすべて番号が付けられます。これらすべては、SimpliSafe チーム、特に Matthew Cox (https://github.com/matthew-cox) なしでは実現できませんでした。Matt、大きな感謝を送ります！

寄付

気持ちを示したい場合、私の BTC ウォレットアドレスは 1PtMhXWCcMZCitcDfaEBe7jnV9sjKoNvq7 です。