关于 gitGraber

gitGraber 是一款用 Python3 开发的工具，用于实时监控 GitHub，搜索并发现针对不同在线服务的敏感数据，例如：Google、Amazon (AWS)、Paypal、Github、Mailgun、Facebook、Twitter、Heroku、Stripe、Twilio……

它是如何工作的？

需要明确的是，gitGraber 并非设计用于检查仓库的提交历史，许多工具已经能够很好地做到这一点。gitGraber 最初是为了监控和解析 GitHub 上最新索引的文件而开发的。如果 gitGraber 发现了有趣的内容，你将通过 Slack 频道收到通知。你也可以直接在命令行中获取结果。

根据我们的经验，我们确信泄漏不仅来自组织本身，还来自服务提供商和员工，他们不一定拥有表明其为特定组织工作的“个人资料”。

正则表达式应尽可能准确。有时，你可能会有误报，欢迎贡献改进检测并添加新的正则表达式模式。

我们更倾向于减少误报，而不是为 gitGraber 可能找到但与你监控无关的每个“标准”API 密钥发送通知。

常见问题解答

为什么我在输出中只看到 "Github query" 和 "Status code : 200"？

gitGraber 会在 CLI 中直接显示一些内容：GitHub 请求、状态码滥用检测（200 或 403）……如果你没有看到类似 [+] POSSIBLE FOO TOKEN FOUND 的信息，那只是因为 gitGraber 没有为你的定义关键词找到机密令牌。

关于错误消息 "Abuse detection reached for token"

当 GitHub 检测到来自你的 GitHub 令牌的大量请求时，会出现此消息。不用担心，gitGraber 可以处理这种情况，它会尝试使用在 config.py 文件中定义的另一个令牌。注意：这是一个临时限制，你不需要创建另一个令牌。

每次运行 gitGraber 时，我会收到相同仓库的相同令牌通知吗？

不会，为了避免这种情况，gitGraber 会将所有仓库 URL 存储在一个名为 rawGitUrls.txt 的文件中。如果某个仓库已经被 gitGraber 扫描过并发现了 API 密钥，你将不会收到通知。

如何为特定令牌设置黑名单模式？

你需要编辑 tokens.py 文件，并在初始化令牌时将该模式作为列表参数添加。例如，要为 MAILCHIMP 令牌添加模式 XXXX，行 tokensList.append(Token('MAILCHIMP', '\W(?:[a-f0-9]{32}(-us[0-9]{1,2}))\W')) 变为 tokensList.append(Token('MAILCHIMP', '\W(?:[a-f0-9]{32}(-us[0-9]{1,2}))\W', ['XXXX']))。

用法

用法: gitGraber.py [-h] [-k KEYWORDSFILE] [-q QUERY] [-s] [-w WORDLIST]

可选参数:
  -h, --help                              显示此帮助信息并退出
  -k KEYWORDSFILE, --keyword KEYWORDSFILE 指定关键字文件（-k keywordsfile.txt）
  -q QUERY, --query QUERY                 指定你的 GitHub 查询（-q "apikey"）
  -m, --monitor                           通过创建 cron 作业启用对搜索查询的监控（每30分钟）
  -d, --discord                           启用 Discord 通知
  -s, --slack                             启用 Slack 通知
  -tg, --telegram                         启用 Telegram 通知
  -w WORDLIST, --wordlist WORDLIST        创建根据 GitHub 上发现的文件名动态填充的词表
  -l LIMIT_DAYS, --limit LIMIT_DAYS       将结果限制在小于 N 天前的提交

例如，要在 GitHub 上搜索特定的词，并与 keywordsfile.txt 文件中的每个词组合，然后输出到 Slack：

python3 gitGraber.py -k keywordsfile.txt -q YOURWORD -s

可以搜索特定的域名，例如，但需要用双引号括起来：

python3 gitGraber.py -k keywordsfile.txt -q \"yahoo.com\" -s

如果你想基于 GitHub 上找到的文件构建自定义词表，以便随后与你喜欢的模糊测试工具一起使用，请添加参数 -w：

python3 gitGraber.py -k keywordsfile.txt -q \"yahoo.com\" -s -w mysuperwordlist.txt

如果你想每30分钟监控你的搜索查询，可以使用 -m 标志，告诉 gitGraber 根据你的查询创建一个 cron 作业：

python3 gitGraber.py -k keywordsfile.txt -q \"yahoo.com\" -s -m

上述命令将每30分钟对你的搜索查询进行机密检测，并在发现匹配时向你发送 Slack 通知。

依赖项

gitGraber 需要一些依赖项，在你的环境中安装它们：

pip3 install -r requirements.txt

配置

在启动 gitGraber 之前，你需要修改配置文件 config.py：

• 添加你自己的 GitHub 令牌（个人访问令牌）：GITHUB_TOKENS = ['yourToken1Here','yourToken2Here']
• 添加你自己的 Discord Webhook：DISCORD_WEBHOOKURL = 'https://discordapp.com/api/webhooks/7XXXX/XXXXXX'
• 添加你自己的 Slack Webhook：SLACK_WEBHOOKURL = 'https://hooks.slack.com/services/TXXXX/BXXXX/XXXXXXX'
• 添加你自己的 Telegram 配置：TELEGRAM_CONFIG = { "token": "XXXXX:xXXXXXXXXXXXXX", "chat_id": -99999999 }

启动 gitGraber：python3 gitGraber.py -k wordlists/keywords.txt -q "uber" -s

支持哪些 API 密钥及服务？（最后更新：2019年9月12日）

目前，gitGraber 支持31种不同的令牌。所有这些检测模型（正则表达式）都存储在文件 tokens.py 中：

• AWS
• FACEBOOK
• GITHUB_CLIENT_SECRET
• GOOGLE_SECRET
• GOOGLE_URL
• GOOGLE_FIREBASE_OR_MAPS
• GOOGLE_OAUTH_ACCESS_TOKEN
• HEROKU
• JSON_WEB_TOKEN
• MAILCHIMP
• MAILGUN
• PAYPAL
• PRIVATE_SSH_KEY
• PRIVATE_RSA_KEY
• PRIVATE_DSA_KEY
• PRIVATE_EC_KEY
• PRIVATE_PGP_KEY
• PRIVATE_OPENSSH_KEY
• SENDGRID_API_KEY
• SENSITIVE_URL
• SLACK_V2
• SLACK_V1
• SLACK_WEBHOOK_URL
• SQUARE_APP_SECRET
• SQUARE_PERSONAL_ACCESS_TOKEN
• STRIPE_LIVE_SECRET_KEY
• STRIPE_LIVE_RESTRICTED_KEY
• TWITTER
• TWILIO_AUTH
• TWILIO_SID
• TWILIO_API_KEY

词表与资源

部分词表和正则表达式由我们创建，另一些灵感来自其他仓库/研究人员：

• 链接：https://gist.github.com/nullenc0de/fa23444ed574e7e978507178b50e1057
• 链接：https://github.com/streaak/keyhacks
• 链接：https://mathiasbynens.be/demo/url-regex

待办事项

• 添加误报检测
• 添加参数仅输出结果（隐藏状态码及其他信息）
• 对双重令牌（如 Twilio 服务）仅发送一次通知
• 添加过滤，仅当提交日期晚于参数指定的日期时才发送通知
• 改进“提交日期”通知，显示如 “[+] Commit date (5 days ago)” 的格式
• 添加参数将结果输出到文件
• 添加多线程
• 改进令牌清理输出
• 添加“组合检查”模块（针对需要两个令牌的服务，如 Twilio）
• 在通知中显示用户和组织名称
• 添加提交日期
• 处理速率限制

作者

• Reptou - Twitter : @R_Marot
• Hisxo - Twitter : @adrien_jeanneau

贡献者

感谢你们的贡献和帮助，改进了 gitGraber:

• @Darkpills
• @gwendallecoguic
• @overjt
• @Abss0x7tbh
• @PatrikHudak

免责声明

本项目仅供教育和道德测试使用。未经事先相互同意而使用此工具攻击目标是违法的。开发者不承担任何责任，并且不对因使用此工具造成的任何滥用或损害负责。