o Utku Sen's
_/\o
( Oo) |/
(=-) .===O- U -O-
/ _/U' hunter /|RL
|| |/
\ | utkusen.com
|K || twitter.com/utkusen_en
urlhunter 是一款侦察工具，可用于搜索通过 bit.ly 和 goo.gl 等短链接服务暴露的 URL。该项目使用 Go 语言编写。
一个名为 URLTeam 的组织（向他们致敬）正在对 URL 短链接服务进行暴力破解，并每天发布匹配结果。urlhunter 会下载他们的集合并让您进行分析。
您可以从发布页面下载预编译的二进制文件并运行。例如：
tar xzvf urlhunter_0.1.0_Linux_amd64.tar.gz
./urlhunter --help
在您的系统上安装 Go
运行：go install github.com/utkusen/urlhunter@latest
Windows 用户注意： urlhunter 使用 XZ Utils，该工具在 Linux 和 macOS 系统上已预装。对于 Windows 系统，您需要从 https://tukaani.org/xz/ 下载。
urlhunter 需要 3 个参数才能运行：-keywords、-date。
例如：urlhunter --keywords keywords.txt --date 2020-11-20
您需要指定一个包含要搜索的关键词的 txt 文件。关键词必须逐行编写。您有三种指定关键词的方式：
单个关键词： urlhunter 将把给定的关键词作为子串进行搜索。例如：
acme.com 关键词会同时匹配 https://acme.com/blabla 和 https://another.com/?referrer=acme.com
多个关键词： urlhunter 将使用 AND 逻辑搜索给定的关键词。这意味着 URL 必须包含所有提供的关键词。关键词必须用 , 字符分隔。例如：
acme.com,admin 将匹配 https://acme.com/secret/adminpanel，但 不会 匹配 https://acme.com/somethingelse
正则表达式值： urlhunter 将搜索给定的正则表达式值。在关键词文件中，包含正则表达式公式的行必须以 regex 字符串开头。格式为：regex REGEXFORMULA。例如：
regex 1\d{10} 将匹配 https://example.com/index.php?id=12938454312，但 不会 匹配 https://example.com/index.php?id=abc223
urlhunter 会下载指定日期的存档文件。您有三种指定日期的方式：
最新： urlhunter 将下载最新的存档。-date latest
单个日期： urlhunter 将下载指定日期的存档。日期格式为 YYYY-MM-DD。
例如：-date 2020-11-20
年份： urlhunter 将下载指定年份的存档。年份格式为 YYYY。
例如：-date 2024
日期范围： urlhunter 将下载起始日期和结束日期之间的所有存档。
例如：-date 2020-11-10:2020-11-20
您可以使用 -o 参数指定输出文件。例如 -o out.txt
您可以指定 -rm 参数，在处理后删除已下载的存档文件夹。这有助于节省磁盘空间。
Archive.org 在下载文件时会限制速度。因此，下载存档所需的时间比通常更长。作为一种变通方法，您可以通过 Torrent 下载存档，并将其放在 archive/ 文件夹下，该文件夹位于 urlhunter 二进制文件所在目录中。目录结构如下：
|-urlhunter
|---urlhunter(binary)
|---archive
|-----urlteam_2020-11-20-11-17-04
|-----urlteam_2020-11-17-11-17-04
urlhunter 可能对网络情报和漏洞赏金目的有用。例如：
docs.google.com/a/acme.com drive.google.com/a/acme.com 关键词允许您找到 Acme 公司的公开 Google Docs&Drive 分享链接。
acme.com,password_reset_token 关键词可能允许您找到 acme.com 的有效密码重置令牌。
trello.com 允许您找到公开的 Trello 地址。
特别感谢 Samet Bekmezci(@sametbekmezci)，他给了我开发此工具的想法。