Vinifera - Monitorar Vazamentos Internos no Github

Ferramenta de Monitoramento do Github 🤖

---

Temos usado o Vinifera em produção desde dezembro de 2019 e ele nos ajudou a prevenir incidentes de segurança. Vinifera começou como um projeto interno para garantir a higiene de segurança de nossas contribuições públicas e monitorar possíveis vazamentos no Github. Acreditamos que isso ajudará outras empresas a fortalecer sua higiene de segurança quando se trata de fontes públicas como o Github.

O que é o Vinifera?

Vinifera permite que Empresas/Organizações monitorem ativos públicos para encontrar referências a vazamentos internos de código e possíveis violações.

Às vezes, desenvolvedores podem vazar código interno e credenciais acidentalmente. O Vinifera tem como objetivo ajudar as empresas a detectar essas violações a tempo e responder ao incidente.

Como funciona?

O Vinifera funciona sincronizando os usuários da organização.

• Para cada usuário, todos os ativos públicos são registrados (se ainda não estiverem sendo rastreados).
• Cada ativo (Repositório, Gist) é então verificado em busca de diferenças.
• Cada diferença é então verificada, armazenada e relatada (se contiver algum vazamento)

O que significa o nome?

Durante o desenvolvimento e a concepção da ferramenta, a equipe de Segurança consumiu muitas uvas, então a nomeamos em homenagem à fruta que amamos :)

Vinifera é inspirado no nome binomial das uvas

Configuração e Uso.

Requisitos

Vinifera requer a instalação das seguintes ferramentas:

1. PostgreSQL
2. Redis
3. Docker
4. Ruby (Instale via rbenv/rvm )

Configuração

Token de Acesso do Github

Para escanear os membros da sua organização, o Vinifera requer um token com a capacidade de ler membros da Organização.

Gere um novo token https://github.com/settings/tokens/new sem escopo especial

Você deve usar o token de um usuário administrador (sem escopo especial), já que o administrador pode listar todos os usuários de uma organização.

https://docs.github.com/en/rest/reference/orgs#list-organization-members

Se o usuário autenticado também for membro desta organização, tanto os membros ocultos quanto os públicos serão retornados.

Docker

• Renomeie .docker_env.example para .docker_env

mv .docker_env.example .docker_env

• Atualize .docker_env com as variáveis necessárias

GITHUB_ACCESS_TOKEN=<REDACTED>
VINIFERA_ORG_NAME=<Your_org_name>

RAILS_MAX_THREADS=60 # This also controls DB pool

RAILS_MASTER_KEY=<ADD_YOUR_MASTER_KEY_HERE>

# set the environment
RAILS_ENV=<development|production>

# set the following if RAILS_ENV is set to production
SECRET_KEY_BASE=<YOUR_SECRET_KEY> # min 32 bits key is allowed

# add slack incoming webhook URLs for respective slack channels
SLACK_UPDATES_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_TARGETS_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_USER_TRACKING_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_VINIFERA_VIOLATION_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_ERROR_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>

# By default fork and big fork scanning is disabled
VINIFERA_ENABLE_FORK_SCANNING=false
VINIFERA_ENABLE_BIG_FORK_SCANNING=false

• Construir

docker-compose build

• Executar

docker-compose up

• Reconstruir após qualquer alteração

docker-compose up --build

• Sincronizar Usuários da Organização no Github

docker exec -it vinifera_sidekiq bundle exec rake periodic_syncs:sync_github_users

---

Comandos do Docker Compose para Referência

---

Manual

• Instalar dependências necessárias

cd <location_of_cloned_repo>
bundle install

• Configurar banco de dados e migrações

bundle exec rails db:create
bundle exec rails db:migrate

• Configurar Variáveis de Ambiente e WebHook do Slack Arquivo de exemplo de env disponível em .example_env

GITHUB_ACCESS_TOKEN=<REDACTED>
VINIFERA_ORG_NAME=<Your_org_name> # Name of org for which token was generated.

VINIFERA_DATABASE_HOST=<localhost>
VINIFERA_DATABASE_PASSWORD=<YOUR_PASSWORD>

RAILS_MAX_THREADS=60 # This also controls DB pool

RAILS_MASTER_KEY=<REDACTED>


SLACK_UPDATES_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_TARGETS_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_USER_TRACKING_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_VINIFERA_VIOLATION_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>
SLACK_ERROR_GROUP_URL=https://hooks.slack.com/services/<YOUR_CONFIG_HERE>



# Add this only if you are using Docker over TLS, recommended way, if, on the same host as vinifera, you may skip it

DOCKER_CLIENT_CERT_PATH=/home/deployer/.docker
DOCKER_HOST=tcp://<IP>:<PORT>

# By default fork and big fork scanning is disabled
VINIFERA_ENABLE_FORK_SCANNING=false
VINIFERA_ENABLE_BIG_FORK_SCANNING=false

REDIS_URL=redis://<REDIS_URI>
SIDEKIQ_REDIS_URL=redis://<REDIS_URI>

# For PagerDuty Integration
DEFAULT_PD_INTEGRATION_KEY=<xxxxxxxx>
ENABLE_PAGER_DUTY_TRIGGER=true

• Configurar Tarefas Cron

bundle exec whenever --update-crontab

• Configure suas regras toml personalizadas para o Gitleaks. Para mais informações

[[rules]]
# Insert your rules here
# description = "Internal References"
# regex = '''(?i)((.*)<COMPANY_INTERNAL_REFERENCES>(.*))'''
# tags = ["internal", "company","references"]

• Iniciar o Sidekiq

bundle exec sidekiq

Datadog

Além disso, para obter as métricas no Datadog como na captura de tela acima, você pode usar o agente DataDog - https://docs.datadoghq.com/agent/

PagerDuty

Para garantir que a equipe nunca perca nenhuma violação, a opção de integração com PagerDuty está disponível:

Para integração com PagerDuty, a seguinte variável de ambiente precisa ser definida como true

ENABLE_PAGER_DUTY_TRIGGER=true

Em seguida, crie um novo serviço e uma chave de integração conforme descrito no seguinte documento - https://support.pagerduty.com/docs/services-and-integrations#create-a-new-service

DEFAULT_PD_INTEGRATION_KEY=<xxxxxxxx>

Contribuindo

Estamos abertos a contribuições/correções de bugs/melhorias de desempenho em nosso projeto :)

Doações

Se você aprecia a ferramenta que construímos, sinta-se à vontade para contribuir/doar para os projetos sobre os quais o Vinifera foi construído :)