GitMiner3

• 作者: UnkL4b
• 网站: bravul.com
• 博客: unkl4b.github.io
• Github: UnkL4b
• X: @UnkL4b

警告

 +---------------------------------------------------+
 | 开发者不承担任何责任，也不对因使用本程序          |
 | 造成的任何滥用或损害负责                          |
 +---------------------------------------------------+

GITMINER 3

GitMiner v3 是一款模块化工具，专为发现公共 GitHub 仓库中的敏感信息而设计。它使用高级 dork 查询、正则表达式模式匹配，并生成全面的威胁情报报告。

本项目是对原始 Gitminer 脚本的完全重构，专注于可维护性、可扩展性和专业的软件架构原则。

目录

• 功能特性
• 项目结构
• 环境要求
• 安装
• 配置
• 使用方法
• 输出
• 扩展 GitMiner
• 许可证

功能特性

• 面向对象设计：完全重构为模块化、基于类的架构，以提高可维护性和可扩展性。
• 多 Dork 扫描：从文件处理多个 GitHub dork，或从命令行处理单个 dork。
• 高级模式匹配：利用一组可配置的正则表达式模式来检测各种机密信息，包括 API 密钥、令牌、密码和私钥。
• 基于 YAML 的配置：通过简单的 YAML 文件轻松管理路径、API 设置和检测模式。
• 威胁情报报告：为每个 dork 自动生成详细的 Markdown 报告，包括执行摘要、严重性分析和技术细节。
• SQLite 历史数据库：跟踪所有搜索操作、下载的文件和发现结果，用于历史分析和持久化存储。
• 符合 PEP 8 规范：代码干净、可读、专业，遵循 Python 标准。
• 健壮的错误处理：实现适当的错误处理和速率限制管理，确保稳定执行。

项目结构

项目采用模块化结构组织，以分离关注点并提高清晰度。

gitminer_v3/
├── config/                 # 配置文件
│   ├── paths.yaml          # 目录、文件和 API 路径
│   ├── labels.yaml         # 参数的正则表达式到标签的映射
│   └── patterns.yaml       # 用于机密检测的正则表达式模式
├── data/                   # 持久化数据存储
│   └── gitminer_history.sqlite # 用于历史的 SQLite 数据库
├── gitminer/               # 主 Python 包
│   ├── __init__.py
│   ├── config_manager.py   # 加载并管理所有配置
│   ├── github_client.py    # 处理所有 GitHub API 交互
│   ├── file_manager.py     # 管理文件下载和存储
│   ├── pattern_analyzer.py # 扫描文件中的机密信息
│   ├── database.py         # 管理 SQLite 数据库操作
│   ├── report_generator.py # 生成 Markdown 报告
│   └── utils.py            # 共享工具函数
├── raw/                    # 存储从 GitHub 下载的文件
├── reports/                # 存储生成的威胁情报报告
├── gitminer_v3.py          # 主可执行脚本
├── requirements.txt        # Python 依赖
└── README.md               # 本文件

环境要求

• Python 3.11+
• 具有 public_repo 权限的 GitHub 个人访问令牌 (PAT)。

安装

1. 克隆仓库或下载源代码。

2. 设置你的 GitHub 令牌： GitMiner 需要 GitHub 令牌才能与 API 交互。你必须将其设置为环境变量。

   root@kitploit:~

   export GITHUB_TOKEN="your_github_personal_access_token_here"
   

3. 安装所需的 Python 包：

   root@kitploit:~

   pip install -r requirements.txt
   

配置

GitMiner 的行为由 config/ 目录中的文件控制。

paths.yaml

此文件定义了所有重要的路径和 API 设置。

• directories：指定存储原始文件、报告和数据的位置。
• files：定义数据库和默认 CSV 输出的名称。
• github：包含 GitHub API 的设置，如 URL、超时时间和默认结果限制。

labels.yaml

此文件将正则表达式模式映射为人类可读的标签。它主要用于识别代码中的参数名称（例如，ftp_user、api_key）。

# 格式: "regex_pattern": "LABEL_NAME"
"(?i)(api[_\\- ]?key|apikey)": "API_KEY"
"(?i)(password|passwd)": "PASSWORD"

patterns.yaml

此文件包含用于检测密钥、令牌和凭据等敏感值的核心正则表达式模式。

# 格式: PATTERN_NAME: "regex_pattern"
GITHUB_TOKEN: "ghp_[A-Za-z0-9_]{36,255}"
AWS_ACCESS_KEY_ID: "AKIA[0-9A-Z]{16}"

使用方法

主脚本 gitminer_v3.py 是所有操作的入口点。

命令行参数

示例

1. 使用单个 dork 搜索并生成报告：

   root@kitploit:~

   python3 gitminer_v3.py -d "filename:.env DB_PASSWORD" --report
   

2. 使用包含多个 dork 的文件进行搜索： 创建一个名为 dorks.txt 的文件：

   root@kitploit:~

   filename:wp-config.php DB_PASSWORD
   filename:settings.py SECRET_KEY
   extension:pem private
   

   然后运行命令：

   root@kitploit:~

   python3 gitminer_v3.py -d dorks.txt -m 500 --report
   

3. 将所有下载文件的列表导出到 CSV：

   root@kitploit:~

   python3 gitminer_v3.py -d dorks.txt -o downloaded_files.csv
   

4. 下载文件但不执行任何分析：

   root@kitploit:~

   python3 gitminer_v3.py -d dorks.txt --no-analyze
   

输出

GitMiner 生成多种类型的输出，存储在 raw/、reports/ 和 data/ 目录中。

原始文件

所有从 GitHub 下载的文件都存储在 raw/ 目录中，按 dork 关键字和仓库名称组织。

raw/
└── DB_PASSWORD/
    └── someuser_some-repo/
        └── .env

威胁情报报告

如果使用 --report 标志，将为每个 dork 生成详细的 Markdown 报告，并保存在 reports/ 目录中。这些报告包括：

• 包含关键统计数据的执行摘要。
• 按严重性分类的发现结果（高、中、低）。
• 包含代码片段和源文件链接的技术分析部分。
• 用于修复的建议。

SQLite 数据库

data/gitminer_history.sqlite 文件包含所有操作的完整历史记录，包括：

• search_history：每次执行的 dork 搜索记录。
• downloaded_files：每个下载文件的元数据。
• findings：每个发现的机密的详细记录。

该数据库可用于长期跟踪和高级分析。

扩展 GitMiner

GitMiner v3 设计为易于扩展。

• 添加新的检测模式： 只需在 config/patterns.yaml 中添加新条目。
• 添加新的参数标签： 在 config/labels.yaml 中添加新的正则表达式-标签对。
• 修改行为： gitminer/ 包中模块化、面向对象的代码有完善的文档记录，可以轻松修改或扩展。

许可证

本项目是开源的，可用于个人和教育用途。请负责任且合乎道德地使用它。作者不对该工具的任何滥用负责。