GitBleed Tools - para extraer datos de repositorios git reflejados

Acerca de

Este repositorio contiene scripts de shell que se pueden usar para descargar y analizar diferencias entre repositorios Git clonados y reflejados. Para más información sobre la peculiaridad subyacente en el comportamiento de Git, visite lea nuestra publicación en el blog.

¿Qué Hacen Estos Scripts?

Estos scripts clonarán una copia del repositorio Git dado, tanto como clon normal como con la opción reflejada ("--mirror"). Luego crearán un delta entre los dos, buscando encontrar las partes del repositorio que solo están disponibles en modo espejo. Finalmente, se ejecutará gitleaks para ver si hay secretos presentes en la porción delta, y se usará "git log" para crear un único archivo que contenga los cuerpos de los commits para que puedan ser analizados más fácilmente.

Tenga en cuenta que, dado que este script crea tres copias del repositorio, puede consumir mucho espacio en disco.

Repositorios de ejemplo

Puede probar estas herramientas en los siguientes dos repositorios de ejemplo:

• gb_testrepo_delete - repositorio que oculta secretos mediante commits eliminados
• gb_testrepo_reset - repositorio que oculta secretos mediante "git reset"

Requisitos

Necesitará tener instalados Git, Python 3, GitLeaks y git-filter-repo. Aquí hay un ejemplo de cómo instalarlos en MacOS:

brew install git python3 gitleaks git-filter-repo

Cómo Instalar y Ejecutar

Puede ejecutar esto contra un repositorio de la siguiente manera:

git clone https://github.com/nightwatchcybersecurity/gitbleed_tools.git
cd gitbleed_tools
./gitbleed.sh https://github.com/nightwatchcybersecurity/gitbleed_tools.git example

También hay algunos scripts auxiliares que se pueden usar para escanear repositorios de GitHub y GitLab de la siguiente manera:

./gitbleed_gh.sh nightwatchcybersecurity/gitbleed_tools
./gitbleed_gl.sh nwcs/junit_ui_bug

Esto creará una carpeta de ejemplo que contiene tres subcarpetas:

• clone - contiene el repositorio clonado
• delta - contiene el repositorio reflejado menos todos los commits en "clone"
• mirror - contiene el repositorio reflejado clonado con la opción "--mirror"

También se crean tres archivos:

• clone_hashes.done.txt - lista de hashes en el repositorio clonado
• gitleaks.json - resultados de ejecutar gitleaks
• gitlog.txt - todos los commits de la carpeta delta concatenados en un solo archivo

Información de Desarrollo

Reportar errores y solicitar funciones

Utilice el rastreador de problemas de GitHub para reportar problemas o sugerir funciones: https://github.com/nightwatchcybersecurity/gitbleed_tools

También puede enviar un correo electrónico a research /at/ nightwatchcybersecurity [dot] com

Lista de deseos

• TBD