Ferramentas GitBleed - para extrair dados de repositórios git espelhados

Sobre

Este repositório contém scripts de shell que podem ser usados para baixar e analisar diferenças entre repositórios Git clonados e espelhados. Para mais informações sobre a peculiaridade subjacente no comportamento do Git, visite leia nosso post no blog.

O Que Esses Scripts Fazem?

Estes scripts clonarão uma cópia do repositório Git fornecido, tanto como clone regular quanto como opção espelhada ("--mirror"). Em seguida, criarão um delta entre os dois, buscando encontrar as partes do repositório que estão disponíveis apenas no modo espelhado. Por último, o gitleaks será executado para verificar se existem segredos na parte delta, e "git log" será usado para criar um arquivo único contendo os corpos dos commits para que possam ser analisados mais facilmente.

Por favor, note que como este script cria três cópias do repositório, ele pode consumir muito espaço em disco.

Repositórios de exemplo

Você pode testar estas ferramentas nos dois repositórios de exemplo a seguir:

• gb_testrepo_delete - repositório ocultando segredos via commits excluídos
• gb_testrepo_reset - repositório ocultando segredos via "git reset"

Requisitos

Você precisará ter Git, Python 3, GitLeaks e git-filter-repo instalados. Aqui está um exemplo de instalação no MacOS:

brew install git python3 gitleaks git-filter-repo

Como Instalar e Executar

Você pode executar isso contra um repositório da seguinte forma:

git clone https://github.com/nightwatchcybersecurity/gitbleed_tools.git
cd gitbleed_tools
./gitbleed.sh https://github.com/nightwatchcybersecurity/gitbleed_tools.git example

Também existem alguns scripts auxiliares que podem ser usados para escanear repositórios GitHub e GitLab da seguinte forma:

./gitbleed_gh.sh nightwatchcybersecurity/gitbleed_tools
./gitbleed_gl.sh nwcs/junit_ui_bug

Isso criará uma pasta de exemplo contendo três subpastas:

• clone - contém o repositório clonado
• delta - contém o repositório espelhado menos todos os commits do "clone"
• mirror - contém o repositório espelhado clonado com a opção "--mirror"

Também são criados três arquivos:

• clone_hashes.done.txt - lista de hashes no repositório clonado
• gitleaks.json - resultados da execução do gitleaks
• gitlog.txt - todos os commits da pasta delta concatenados em um único arquivo

Informações de Desenvolvimento

Relatar bugs e solicitar funcionalidades

Por favor, use o rastreador de issues do GitHub para relatar problemas ou sugerir funcionalidades: https://github.com/nightwatchcybersecurity/gitbleed_tools

Você também pode enviar email para research /at/ nightwatchcybersecurity [dot] com

Lista de desejos

• A definir