GitBleed Tools - pour extraire des données des dépôts Git miroirs

À propos

Ce dépôt contient des scripts shell qui peuvent être utilisés pour télécharger et analyser les différences entre des dépôts Git clonés et miroirs. Pour plus d'informations sur la particularité sous-jacente du comportement de Git, veuillez lire notre article de blog.

Que font ces scripts ?

Ces scripts cloneront une copie du dépôt Git donné, à la fois en tant que clone normal et en mode miroir (option "--mirror"). Ensuite, ils créeront un delta entre les deux, cherchant à trouver les parties du dépôt qui ne sont disponibles qu'en mode miroir. Enfin, gitleaks sera exécuté pour voir si des secrets sont présents dans la partie delta, et "git log" sera utilisé pour créer un fichier unique contenant le corps des commits afin de les analyser plus facilement.

Veuillez noter que puisque ce script crée trois copies du dépôt, il peut consommer beaucoup d'espace disque.

Exemples de dépôts

Vous pouvez tester ces outils sur les deux dépôts exemples suivants :

• gb_testrepo_delete - dépôt cachant des secrets via des commits supprimés
• gb_testrepo_reset - dépôt cachant des secrets via "git reset"

Prérequis

Vous aurez besoin de Git, Python 3, GitLeaks et git-filter-repo installés. Voici un exemple d'installation sur MacOS :

brew install git python3 gitleaks git-filter-repo

Comment installer et exécuter

Vous pouvez exécuter ceci sur un dépôt comme suit :

git clone https://github.com/nightwatchcybersecurity/gitbleed_tools.git
cd gitbleed_tools
./gitbleed.sh https://github.com/nightwatchcybersecurity/gitbleed_tools.git example

Il existe également des scripts auxiliaires qui peuvent être utilisés pour scanner les dépôts GitHub et GitLab comme suit :

./gitbleed_gh.sh nightwatchcybersecurity/gitbleed_tools
./gitbleed_gl.sh nwcs/junit_ui_bug

Cela créera un dossier exemple contenant trois sous-dossiers :

• clone - contient le dépôt cloné
• delta - contient le dépôt miroir moins tous les commits du dossier "clone"
• mirror - contient le dépôt miroir cloné avec l'option "--mirror"

Trois fichiers sont également créés :

• clone_hashes.done.txt - liste des hachages dans le dépôt cloné
• gitleaks.json - résultats de l'exécution de gitleaks
• gitlog.txt - tous les commits du dossier delta concaténés dans un seul fichier

Informations de développement

Signaler des bugs et demander des fonctionnalités

Veuillez utiliser le gestionnaire de tickets GitHub pour signaler des problèmes ou suggérer des fonctionnalités : https://github.com/nightwatchcybersecurity/gitbleed_tools

Vous pouvez également envoyer un e-mail à research /at/ nightwatchcybersecurity [point] com

Liste de souhaits

• À déterminer