GitBleed 工具 - 用于从镜像的 Git 仓库中提取数据

关于

此仓库包含可用于下载和分析克隆仓库与镜像 Git 仓库之间差异的 Shell 脚本。有关 Git 行为中底层特性的更多信息，请访问阅读我们的博文。

这些脚本的作用是什么？

这些脚本将克隆给定的 Git 仓库，分别以常规克隆和镜像（"--mirror"）选项进行。然后，它会在两者之间创建差异，试图找出仅存在于镜像模式中的仓库部分。最后，将运行 gitleaks 检查差异部分是否存在任何秘密，并使用 "git log" 创建一个包含提交内容的单一文件，以便更轻松地进行分析。

请注意，由于此脚本会创建仓库的三个副本，因此可能会消耗大量磁盘空间。

示例仓库

您可以在以下两个示例仓库上测试这些工具：

• gb_testrepo_delete - 通过删除提交来隐藏秘密的仓库
• gb_testrepo_reset - 通过 "git reset" 隐藏秘密的仓库

要求

您需要安装 Git、Python 3、GitLeaks 和 git-filter-repo。以下是在 MacOS 上安装这些工具的示例：

brew install git python3 gitleaks git-filter-repo

如何安装和运行

您可以按如下方式针对一个仓库运行此工具：

git clone https://github.com/nightwatchcybersecurity/gitbleed_tools.git
cd gitbleed_tools
./gitbleed.sh https://github.com/nightwatchcybersecurity/gitbleed_tools.git example

还有一些辅助脚本可用于扫描 GitHub 和 GitLab 仓库，如下所示：

./gitbleed_gh.sh nightwatchcybersecurity/gitbleed_tools
./gitbleed_gl.sh nwcs/junit_ui_bug

这将在 "example" 文件夹中创建三个子文件夹：

• clone - 包含克隆的仓库
• delta - 包含镜像仓库减去 "clone" 中的所有提交
• mirror - 包含使用 "--mirror" 选项克隆的镜像仓库

还会创建三个文件：

• clone_hashes.done.txt - 克隆仓库中的哈希列表
• gitleaks.json - 运行 gitleaks 的结果
• gitlog.txt - 从 delta 文件夹合并所有提交到单个文件

开发信息

报告错误和功能请求

请使用 GitHub 问题跟踪器报告问题或提出功能建议： https://github.com/nightwatchcybersecurity/gitbleed_tools

您也可以通过电子邮件 research /at/ nightwatchcybersecurity [dot] com 联系我们

愿望清单

• 待定