Vinifera - Github पर आंतरिक लीक की निगरानी करें

Github निगरानी उपकरण 🤖

हम दिसंबर 2019 से Vinifera का उत्पादन में उपयोग कर रहे हैं और इसने हमें सुरक्षा घटनाओं को रोकने में मदद की है। Vinifera एक आंतरिक परियोजना के रूप में शुरू हुआ ताकि हमारे सार्वजनिक योगदानों की सुरक्षा स्वच्छता सुनिश्चित की जा सके और Github पर संभावित लीक की निगरानी की जा सके। हमारा मानना है कि यह अन्य कंपनियों को Github जैसे सार्वजनिक स्रोतों के संबंध में अपनी सुरक्षा स्वच्छता को मजबूत करने में मदद करेगा।

Vinifera क्या है?

Vinifera कंपनियों/संगठनों को सार्वजनिक परिसंपत्तियों की निगरानी करने की अनुमति देता है ताकि आंतरिक कोड लीक और संभावित उल्लंघनों के संदर्भ मिल सकें।

कभी-कभी डेवलपर्स गलती से आंतरिक कोड और क्रेडेंशियल्स लीक कर सकते हैं। Vinifera का उद्देश्य कंपनियों को समय पर उन उल्लंघनों का पता लगाने और घटना का जवाब देने में मदद करना है।

यह कैसे काम करता है?

Vinifera संगठन से संबंधित डेवलपर्स की निगरानी करता है, सार्वजनिक योगदानों की निगरानी और स्कैन करता है ताकि परिभाषित संदर्भों के आधार पर आंतरिक/गुप्त/स्वामित्व वाले कोड के संभावित उल्लंघनों और लीक की तलाश की जा सके।

• Vinifera org उपयोगकर्ताओं को सिंक करके काम करता है।
• प्रत्येक उपयोगकर्ता के लिए, सभी सार्वजनिक परिसंपत्तियाँ पंजीकृत की जाती हैं (यदि पहले से ट्रैक नहीं की गई हैं)।
• प्रत्येक परिसंपत्ति (Repo, Gist) को फिर किसी भी अंतर के लिए स्कैन किया जाता है।
• प्रत्येक अंतर को फिर स्कैन, संग्रहीत और रिपोर्ट किया जाता है (यदि इसमें कोई लीक है)

नाम का क्या अर्थ है?

उपकरण के विकास और निर्माण के दौरान, सुरक्षा टीम ने बहुत सारे अंगूर खाए, इसलिए हमने इसका नाम उस फल के नाम पर रखा जिसे हम पसंद करते हैं :)

Vinifera अंगूर के वैज्ञानिक नाम से प्रेरित है।

सेटअप और उपयोग।

आवश्यकताएँ

Vinifera को निम्नलिखित उपकरणों की स्थापना की आवश्यकता होती है:

1. PostgreSQL
2. Redis
3. Docker
4. Ruby (rbenv/rvm के माध्यम से स्थापित करें)

सेटअप

Github एक्सेस टोकन

अपने संगठन के सदस्यों को स्कैन करने के लिए, Vinifera को संगठन के सदस्यों को पढ़ने की क्षमता वाले टोकन की आवश्यकता होती है।

एक नया टोकन जनरेट करें https://github.com/settings/tokens/new बिना किसी विशेष दायरे के

आप एक व्यवस्थापक उपयोगकर्ता (बिना किसी विशेष दायरे के) के टोकन का उपयोग करना चाहेंगे, क्योंकि व्यवस्थापक किसी संगठन के सभी उपयोगकर्ताओं को सूचीबद्ध कर सकता है।

https://docs.github.com/en/rest/reference/orgs#list-organization-members

यदि प्रमाणित उपयोगकर्ता भी इस संगठन का सदस्य है तो छिपे और सार्वजनिक दोनों सदस्य वापस आएंगे।

Docker

• .docker_env.example का नाम बदलकर .docker_env करें

mv .docker_env.example .docker_env

• आवश्यक चर के साथ .docker_env अपडेट करें

GITHUB_ACCESS_TOKEN=<REDACTED>
VINIFERA_ORG_NAME=<Your_org_name>

RAILS_MAX_THREADS=60 # This also controls DB pool

RAILS_MASTER_KEY=<ADD_YOUR_MASTER_KEY_HERE>

# set the environment
RAILS_ENV=<development|production>

# set the following if RAILS_ENV is set to production
SECRET_KEY_BASE=<YOUR_SECRET_KEY> # min 32 bits key is allowed

# add slack incoming webhook URLs for respective slack channels
SLACK_UPDATES_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_TARGETS_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_USER_TRACKING_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_VINIFERA_VIOLATION_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_ERROR_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>

# By default fork and big fork scanning is disabled
VINIFERA_ENABLE_FORK_SCANNING=false
VINIFERA_ENABLE_BIG_FORK_SCANNING=false

• बिल्ड करें

docker-compose build

• चलाएँ

docker-compose up

• किसी भी बदलाव के बाद पुनर्निर्माण करें

docker-compose up --build

• Github Org उपयोगकर्ताओं को सिंक करें

docker exec -it vinifera_sidekiq bundle exec rake periodic_syncs:sync_github_users

संदर्भ के लिए Docker Compose कमांड

मैन्युअल

• आवश्यक निर्भरताएँ स्थापित करें

cd <location_of_cloned_repo>
bundle install

• DB और माइग्रेशन सेटअप करें

bundle exec rails db:create
bundle exec rails db:migrate

• पर्यावरण चर और Slack WebHook सेटअप करें नमूना env फ़ाइल .example_env पर उपलब्ध है

GITHUB_ACCESS_TOKEN=<REDACTED>
VINIFERA_ORG_NAME=<Your_org_name> # Name of org for which token was generated.

VINIFERA_DATABASE_HOST=<localhost>
VINIFERA_DATABASE_PASSWORD=<YOUR_PASSWORD>

RAILS_MAX_THREADS=60 # This also controls DB pool

RAILS_MASTER_KEY=<REDACTED>


SLACK_UPDATES_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_TARGETS_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_USER_TRACKING_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_VINIFERA_VIOLATION_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_ERROR_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>



# Add this only if you are using Docker over TLS, recommended way, if, on the same host as vinifera, you may skip it

DOCKER_CLIENT_CERT_PATH=/home/deployer/.docker
DOCKER_HOST=tcp://<IP>:<PORT>

# By default fork and big fork scanning is disabled
VINIFERA_ENABLE_FORK_SCANNING=false
VINIFERA_ENABLE_BIG_FORK_SCANNING=false

REDIS_URL=redis://<REDIS_URI>
SIDEKIQ_REDIS_URL=redis://<REDIS_URI>

# For PagerDuty Integration
DEFAULT_PD_INTEGRATION_KEY=<xxxxxxxx>
ENABLE_PAGER_DUTY_TRIGGER=true

• क्रॉन जॉब्स सेटअप करें

bundle exec whenever --update-crontab

• Gitleaks के लिए अपने कस्टम toml नियम सेटअप करें। अधिक जानकारी के लिए

[[rules]]
# Insert your rules here
# description = "Internal References"
# regex = '''(?i)((.*)<COMPANY_INTERNAL_REFERENCES>(.*))'''
# tags = ["internal", "company","references"]

• Sidekiq प्रारंभ करें

bundle exec sidekiq

Datadog

इसके अतिरिक्त, ऊपर दिए गए स्क्रीनशॉट की तरह Datadog पर मेट्रिक्स प्राप्त करने के लिए, आप DataDog एजेंट का उपयोग कर सकते हैं - https://docs.datadoghq.com/agent/

PagerDuty

यह सुनिश्चित करने के लिए कि टीम कभी भी किसी उल्लंघन से न चूके, PagerDuty एकीकरण विकल्प उपलब्ध है:

PagerDuty एकीकरण के लिए, निम्नलिखित पर्यावरण चर को true पर सेट करना होगा

ENABLE_PAGER_DUTY_TRIGGER=true

फिर निम्नलिखित दस्तावेज़ में वर्णित अनुसार एक नई सेवा और एक एकीकरण कुंजी बनाएँ - https://support.pagerduty.com/docs/services-and-integrations#create-a-new-service

DEFAULT_PD_INTEGRATION_KEY=<xxxxxxxx>

योगदान

हम अपनी परियोजना में योगदान/बग फिक्स/प्रदर्शन सुधार के लिए खुले हैं :)

दान

यदि आप हमारे द्वारा बनाए गए उपकरण की सराहना करते हैं, तो उन परियोजनाओं में योगदान/दान करने के लिए स्वतंत्र महसूस करें जिनके ऊपर Vinifera बनाया गया था :)

Vinifera अन्य ओपन-सोर्स सॉफ्टवेयर के ऊपर बनाया गया है:

1. Rails (हमारा पसंदीदा वेब फ्रेमवर्क)
2. Sidekiq (जॉब लाइफसाइकिल, शेड्यूलिंग और रीट्राइज़ को संभालता है)
3. Gitleaks (Gitleaks Docker इमेज के माध्यम से कोड स्कैनिंग को संचालित करता है)
4. Docker (पृथक वातावरण में स्कैन चलाने के लिए)
5. Docker-api (Docker रिमोट API के साथ बातचीत करने के लिए रूबी क्लाइंट)
6. Sidekiq Throttled (वर्कर्स को थ्रॉटल करने के लिए)
7. Octokit (Github API के लिए रूबी टूलकिट)
8. Whenever (रूबी में क्रॉन जॉब्स)

.... (सूची चलती रहेगी..., आप विचार समझ गए होंगे ;) )

आप Feeding India को भी दान कर सकते हैं।

अस्वीकरण

न तो Zomato और न ही इस उपकरण के डेवलपर्स इस उपकरण या इसके उपयोग से होने वाले किसी भी नुकसान के लिए जिम्मेदार हैं। जिम्मेदारी से उपयोग करें। अधिक जानकारी के लिए LICENSE देखें।

लाइसेंस

Vinifera Apache License, Version 2.0 के तहत लाइसेंस प्राप्त है। पूर्ण लाइसेंस टेक्स्ट के लिए LICENSE देखें।