Vinifera - Monitorar Vazamentos Internos no Github

Ferramenta de Monitoramento do Github 🤖

Temos usado o Vinifera em produção desde dezembro de 2019 e ele nos ajudou a prevenir incidentes de segurança. Vinifera começou como um projeto interno para garantir a higiene de segurança de nossas contribuições públicas e monitorar possíveis vazamentos no Github. Acreditamos que isso ajudará outras empresas a fortalecer sua higiene de segurança quando se trata de fontes públicas como o Github.

O que é o Vinifera?

Vinifera permite que Empresas/Organizações monitorem ativos públicos para encontrar referências a vazamentos internos de código e possíveis violações.

Às vezes, desenvolvedores podem vazar código interno e credenciais acidentalmente. O Vinifera tem como objetivo ajudar as empresas a detectar essas violações a tempo e responder ao incidente.

Como funciona?

O Vinifera funciona sincronizando os usuários da organização.

• Para cada usuário, todos os ativos públicos são registrados (se ainda não estiverem sendo rastreados).
• Cada ativo (Repositório, Gist) é então verificado em busca de diferenças.
• Cada diferença é então verificada, armazenada e relatada (se contiver algum vazamento)

O que significa o nome?

Durante o desenvolvimento e a concepção da ferramenta, a equipe de Segurança consumiu muitas uvas, então a nomeamos em homenagem à fruta que amamos :)

Vinifera é inspirado no nome binomial das uvas

Configuração e Uso.

Requisitos

Vinifera requer a instalação das seguintes ferramentas:

1. PostgreSQL
2. Redis
3. Docker
4. Ruby (Instale via rbenv/rvm )

Configuração

Token de Acesso do Github

Para escanear os membros da sua organização, o Vinifera requer um token com a capacidade de ler membros da Organização.

Gere um novo token https://github.com/settings/tokens/new sem escopo especial

Você deve usar o token de um usuário administrador (sem escopo especial), já que o administrador pode listar todos os usuários de uma organização.

https://docs.github.com/en/rest/reference/orgs#list-organization-members

Se o usuário autenticado também for membro desta organização, tanto os membros ocultos quanto os públicos serão retornados.

Docker

• Renomeie .docker_env.example para .docker_env

mv .docker_env.example .docker_env

• Atualize .docker_env com as variáveis necessárias

GITHUB_ACCESS_TOKEN=<REDACTED>
VINIFERA_ORG_NAME=<Your_org_name>

RAILS_MAX_THREADS=60 # This also controls DB pool

RAILS_MASTER_KEY=<ADD_YOUR_MASTER_KEY_HERE>

# set the environment
RAILS_ENV=<development|production>

# set the following if RAILS_ENV is set to production
SECRET_KEY_BASE=<YOUR_SECRET_KEY> # min 32 bits key is allowed

# add slack incoming webhook URLs for respective slack channels
SLACK_UPDATES_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_TARGETS_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_USER_TRACKING_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_VINIFERA_VIOLATION_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_ERROR_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>

# By default fork and big fork scanning is disabled
VINIFERA_ENABLE_FORK_SCANNING=false
VINIFERA_ENABLE_BIG_FORK_SCANNING=false

• Construir

docker-compose build

• Executar

docker-compose up

• Reconstruir após qualquer alteração

docker-compose up --build

• Sincronizar Usuários da Organização no Github

docker exec -it vinifera_sidekiq bundle exec rake periodic_syncs:sync_github_users

Comandos do Docker Compose para Referência

Manual

• Instalar dependências necessárias

cd <location_of_cloned_repo>
bundle install

• Configurar banco de dados e migrações

bundle exec rails db:create
bundle exec rails db:migrate

• Configurar Variáveis de Ambiente e WebHook do Slack Arquivo de exemplo de env disponível em .example_env

GITHUB_ACCESS_TOKEN=<REDACTED>
VINIFERA_ORG_NAME=<Your_org_name> # Name of org for which token was generated.

VINIFERA_DATABASE_HOST=<localhost>
VINIFERA_DATABASE_PASSWORD=<YOUR_PASSWORD>

RAILS_MAX_THREADS=60 # This also controls DB pool

RAILS_MASTER_KEY=<REDACTED>


SLACK_UPDATES_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_TARGETS_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_USER_TRACKING_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_VINIFERA_VIOLATION_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_ERROR_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>



# Add this only if you are using Docker over TLS, recommended way, if, on the same host as vinifera, you may skip it

DOCKER_CLIENT_CERT_PATH=/home/deployer/.docker
DOCKER_HOST=tcp://<IP>:<PORT>

# By default fork and big fork scanning is disabled
VINIFERA_ENABLE_FORK_SCANNING=false
VINIFERA_ENABLE_BIG_FORK_SCANNING=false

REDIS_URL=redis://<REDIS_URI>
SIDEKIQ_REDIS_URL=redis://<REDIS_URI>

# For PagerDuty Integration
DEFAULT_PD_INTEGRATION_KEY=<xxxxxxxx>
ENABLE_PAGER_DUTY_TRIGGER=true

• Configurar Tarefas Cron

bundle exec whenever --update-crontab

• Configure suas regras toml personalizadas para o Gitleaks. Para mais informações

[[rules]]
# Insert your rules here
# description = "Internal References"
# regex = '''(?i)((.*)<COMPANY_INTERNAL_REFERENCES>(.*))'''
# tags = ["internal", "company","references"]

• Iniciar o Sidekiq

bundle exec sidekiq

Datadog

Além disso, para obter as métricas no Datadog como na captura de tela acima, você pode usar o agente DataDog - https://docs.datadoghq.com/agent/

PagerDuty

Para garantir que a equipe nunca perca nenhuma violação, a opção de integração com PagerDuty está disponível:

Para integração com PagerDuty, a seguinte variável de ambiente precisa ser definida como true

ENABLE_PAGER_DUTY_TRIGGER=true

Em seguida, crie um novo serviço e uma chave de integração conforme descrito no seguinte documento - https://support.pagerduty.com/docs/services-and-integrations#create-a-new-service

DEFAULT_PD_INTEGRATION_KEY=<xxxxxxxx>

Contribuindo

Estamos abertos a contribuições/correções de bugs/melhorias de desempenho em nosso projeto :)

Doações

Se você aprecia a ferramenta que construímos, sinta-se à vontade para contribuir/doar para os projetos sobre os quais o Vinifera foi construído :)

Vinifera é construído sobre outros softwares de código aberto:

1. Rails (Nosso Framework Web Favorito)
2. Sidekiq (Gerencia Ciclo de Vida de Jobs, Agendamento e Tentativas)
3. Gitleaks (Gitleaks alimenta a verificação de código por meio de Imagens Docker)
4. Docker (Para executar verificações em um ambiente isolado)
5. Docker-api (Cliente Ruby para interagir com a API Remota do Docker)
6. Sidekiq Throttled (Para limitar workers)
7. Octokit (Kit de Ferramentas Ruby para API do Github)
8. Whenever (Tarefas Cron em Ruby)

.... (a lista continuará ..., você entendeu a ideia ;) )

Você também pode doar para a Feeding India

Aviso Legal

Nem a Zomato nem os desenvolvedores desta ferramenta são responsáveis por qualquer dano causado por esta ferramenta ou pelo uso da mesma. Use com responsabilidade. Consulte LICENSE para mais detalhes.

Licença

Vinifera é licenciado sob a Licença Apache, Versão 2.0. Veja LICENSE para o texto completo da licença.