Vinifera - GitHub上の内部リーク監視

GitHub監視ツール 🤖

Vinifera Logo

私たちは2019年12月から本番環境でViniferaを使用しており、セキュリティインシデントの防止に役立っています。Viniferaは、公開コントリビューションのセキュリティ衛生を確保し、GitHub上の潜在的なリークを監視するための内部プロジェクトとして始まりました。これは、GitHubのような公開ソースに関して、他の企業がセキュリティ衛生を強化するのに役立つと信じています。

Stats

Viniferaとは？

Viniferaは、企業や組織が公開資産を監視し、内部コードのリークや潜在的な侵害の参照を発見できるようにします。開発者が誤って内部コードや資格情報を漏洩することがあります。Viniferaは、企業がこれらの侵害を適時に検出し、インシデントに対応できるよう支援することを目的としています。

どのように動作するのか？

Viniferaは、組織に所属する開発者を監視し、定義された参照を探すことで、内部/秘密/専有コードの潜在的な違反や侵害を検出するために公開コントリビューションを監視・スキャンします。

Viniferaは、組織のユーザーを同期することで動作します。
各ユーザーについて、すべての公開資産が登録されます（まだ追跡されていない場合）。
各資産（リポジトリ、Gist）は、差分がないかスキャンされます。
各差分はスキャン、保存され、リークが含まれている場合は報告されます。

Vinifera Workflow

名前の意味は？

ツールの開発と発案中、セキュリティチームが大量のブドウを消費したため、私たちが愛する果物にちなんで命名しました :) Viniferaは、ブドウの二名法に触発されています。

セットアップと使い方

必要条件

Viniferaには以下のツールのインストールが必要です：

PostgreSQL
Redis
Docker
Ruby (rbenv/rvm でインストール)

セットアップ

GitHubアクセストークン

組織メンバーをスキャンするために、Viniferaは組織メンバーを読み取る権限を持つトークンを必要とします。

特別なスコープなしで新しいトークンを生成してください https://github.com/settings/tokens/new

管理ユーザーは組織の全ユーザーを一覧表示できるため、管理者ユーザーのトークン（特別なスコープなし）を使用することをお勧めします。

https://docs.github.com/en/rest/reference/orgs#list-organization-members

認証されたユーザーがこの組織のメンバーでもある場合、非公開メンバーと公開メンバーの両方が返されます。

Docker

.docker_env.example を .docker_env にリネーム

mv .docker_env.example .docker_env

必要な変数で .docker_env を更新

GITHUB_ACCESS_TOKEN=<REDACTED>
VINIFERA_ORG_NAME=<Your_org_name>

RAILS_MAX_THREADS=60 # This also controls DB pool

RAILS_MASTER_KEY=<ADD_YOUR_MASTER_KEY_HERE>

# set the environment
RAILS_ENV=<development|production>

# set the following if RAILS_ENV is set to production
SECRET_KEY_BASE=<YOUR_SECRET_KEY> # min 32 bits key is allowed

# add slack incoming webhook URLs for respective slack channels
SLACK_UPDATES_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_TARGETS_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_USER_TRACKING_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_VINIFERA_VIOLATION_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_ERROR_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>

# By default fork and big fork scanning is disabled
VINIFERA_ENABLE_FORK_SCANNING=false
VINIFERA_ENABLE_BIG_FORK_SCANNING=false

ビルド

docker-compose build

実行

docker-compose up

変更後のリビルド

docker-compose up --build

GitHub組織ユーザーの同期

docker exec -it vinifera_sidekiq bundle exec rake periodic_syncs:sync_github_users

参考のためのDocker Composeコマンド

手動インストール

必要な依存関係のインストール

cd <location_of_cloned_repo>
bundle install

DBとマイグレーションのセットアップ

bundle exec rails db:create
bundle exec rails db:migrate

環境変数とSlack WebHookのセットアップサンプルenvファイルは .example_env にあります。

GITHUB_ACCESS_TOKEN=<REDACTED>
VINIFERA_ORG_NAME=<Your_org_name> # Name of org for which token was generated.

VINIFERA_DATABASE_HOST=<localhost>
VINIFERA_DATABASE_PASSWORD=<YOUR_PASSWORD>

RAILS_MAX_THREADS=60 # This also controls DB pool

RAILS_MASTER_KEY=<REDACTED>


SLACK_UPDATES_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_TARGETS_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_USER_TRACKING_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_VINIFERA_VIOLATION_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_ERROR_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>



# Add this only if you are using Docker over TLS, recommended way, if, on the same host as vinifera, you may skip it

DOCKER_CLIENT_CERT_PATH=/home/deployer/.docker
DOCKER_HOST=tcp://<IP>:<PORT>

# By default fork and big fork scanning is disabled
VINIFERA_ENABLE_FORK_SCANNING=false
VINIFERA_ENABLE_BIG_FORK_SCANNING=false

REDIS_URL=redis://<REDIS_URI>
SIDEKIQ_REDIS_URL=redis://<REDIS_URI>

# For PagerDuty Integration
DEFAULT_PD_INTEGRATION_KEY=<xxxxxxxx>
ENABLE_PAGER_DUTY_TRIGGER=true

Cronジョブのセットアップ

bundle exec whenever --update-crontab

Gitleaks用のカスタムtomlルールを設定します。詳細情報

[[rules]]
# Insert your rules here
# description = "Internal References"
# regex = '''(?i)((.*)<COMPANY_INTERNAL_REFERENCES>(.*))'''
# tags = ["internal", "company","references"]

Sidekiqの起動

bundle exec sidekiq

Datadog

さらに、上記のスクリーンショットのようにDatadogでメトリクスを取得するには、DataDogエージェントを使用できます - https://docs.datadoghq.com/agent/

PagerDuty

チームが違反を見逃さないようにするために、PagerDuty統合オプションがあります：

PagerDuty Incident

PagerDuty統合には、次の環境変数を true に設定する必要があります

ENABLE_PAGER_DUTY_TRIGGER=true

次に、以下のドキュメントに従って新しいサービスと統合キーを作成します - https://support.pagerduty.com/docs/services-and-integrations#create-a-new-service

PagerDuty Service

DEFAULT_PD_INTEGRATION_KEY=<xxxxxxxx>

コントリビューション

私たちのプロジェクトへのコントリビューション/バグ修正/パフォーマンス改善を歓迎します :)

寄付

私たちが構築したツールに感謝するなら、Viniferaがその上に構築されているプロジェクトにコントリビュート/寄付してください :)

Viniferaは他のオープンソースソフトウェアの上に構築されています：

Rails（私たちのお気に入りのWebフレームワーク）
Sidekiq（ジョブのライフサイクル、スケジューリング、リトライを処理）
Gitleaks（GitleaksはDockerイメージを介してコードスキャンを提供）
Docker（隔離された環境でスキャンを実行するため）
Docker-api（Docker Remote APIと対話するRubyクライアント）
Sidekiq Throttled （ワーカーのスロットリング用）
Octokit（GitHub API用Rubyツールキット）
Whenever（RubyでのCronジョブ）

....（リストは続きます...、雰囲気はわかりますよね ;)）

また、Feeding India に寄付することもできます。

免責事項

Zomatoも本ツールの開発者も、本ツールまたはその使用によって生じたいかなる損害についても責任を負いません。責任を持って使用してください。詳細については LICENSE を参照してください。

ライセンス

ViniferaはApache License, Version 2.0の下でライセンスされています。完全なライセンステキストについては LICENSE を参照してください。

vinifera

人気