GitBleed Tools – zum Extrahieren von Daten aus mirrorred Git-Repositories

Über

Dieses Repository enthält Shell-Skripte, mit denen Unterschiede zwischen geklonten und gespiegelten Git-Repositories heruntergeladen und analysiert werden können. Weitere Informationen über die zugrunde liegende Eigenart des Git-Verhaltens finden Sie in unserem Blogbeitrag.

Was machen diese Skripte?

Diese Skripte klonen eine Kopie des angegebenen Git-Repositories, sowohl als regulären Klon als auch mit der Option "--mirror". Sie erstellen dann ein Delta zwischen den beiden, um die Teile des Repositories zu finden, die nur im Spiegelmodus verfügbar sind. Zuletzt wird Gitleaks ausgeführt, um zu sehen, ob im Delta-Bereich Geheimnisse vorhanden sind, und "git log" wird verwendet, um eine einzelne Datei mit den Inhalten der Commits zu erstellen, damit sie leichter analysiert werden können. Bitte beachten Sie, dass dieses Skript drei Kopien des Repositories erstellt und dadurch viel Speicherplatz verbrauchen kann.

Beispiel-Repositories

Sie können diese Tools mit den folgenden zwei Beispiel-Repositories testen:

• gb_testrepo_delete – Repository, das Geheimnisse durch gelöschte Commits verbirgt
• gb_testrepo_reset – Repository, das Geheimnisse durch "git reset" verbirgt

Voraussetzungen

Sie benötigen Git, Python 3. GitLeaks und git-filter-repo müssen installiert sein. Hier ein Beispiel für die Installation unter MacOS:

brew install git python3 gitleaks git-filter-repo

Installation und Ausführung

Sie können dies wie folgt gegen ein Repository ausführen:

git clone https://github.com/nightwatchcybersecurity/gitbleed_tools.git
cd gitbleed_tools
./gitbleed.sh https://github.com/nightwatchcybersecurity/gitbleed_tools.git example

Es gibt auch einige Hilfsskripte, mit denen GitHub- und GitLab-Repositories wie folgt gescannt werden können:

./gitbleed_gh.sh nightwatchcybersecurity/gitbleed_tools
./gitbleed_gl.sh nwcs/junit_ui_bug

Dadurch wird ein Ordner 'example' mit drei Unterordnern erstellt:

• clone – enthält das geklonte Repository
• delta – enthält das mirrorred Repository abzüglich aller Commits im "clone"
• mirror – enthält das gespiegelte Repository, das mit der Option "--mirror" geklont wurde

Außerdem werden drei Dateien erstellt:

• clone_hashes.done.txt – Liste der Hashes im geklonten Repository
• gitleaks.json – Ergebnisse der Gitleaks-Ausführung
• gitlog.txt – alle Commits aus dem Delta-Ordner in einer einzigen Datei zusammengefasst

Entwicklungsinformationen

Fehler melden und Funktionswünsche

Bitte verwenden Sie den GitHub-Issue-Tracker, um Probleme zu melden oder Features vorzuschlagen: https://github.com/nightwatchcybersecurity/gitbleed_tools

Sie können auch eine E-Mail an research /at/ nightwatchcybersecurity [dot] com senden.

Wunschliste

• TBD