waymore 的设计理念是从 Wayback Machine(以及更多来源)中挖掘出比现有工具更多的链接。
👉 waymore 与其他工具的最大区别在于,它还能够 下载存档的响应数据(来自 Wayback Machine 和 URLScan),以便你可以从中搜索更多链接、开发者注释、额外参数等。 👉 此外,其他工具目前无法处理来源现行的速率限制,常常在结果不完整时就停止运行,并且不会告知你结果不完整。
任何做过漏洞赏金的人很可能都用过 @TomNomNoms 开发的出色的 waybackurls 工具。该工具从 web.archive.org 获取 URL,并从 index.commoncrawl.org 的索引集合中获取额外链接(如果有)。 你也可能用过 @hacker_ 开发的出色的 gau,它同样从 Wayback Archive、Common Crawl 中查找 URL,同时也从 Alien Vault、URLScan、Virus Total 和 Intelligence X 中查找。 现在,waymore 也从所有这些来源获取 URL(并且支持更强的过滤功能,以便你获取所需内容):
👉 很多人似乎忽略了一点,所以我再强调一次 :) ... waymore 与其他工具的最大区别在于,它还能够 下载存档的响应数据(来自 Wayback Machine),以便你可以从中搜索更多链接、开发者注释、额外参数等。
👉 请阅读此页面上的所有信息,以充分利用此工具,尤其是在提出任何问题之前 🤘
👉 此工具可能非常慢,但它的设计目标是覆盖广度,而非速度
⚠️ 常见错误:传入一个子域名文件来获取该域名的所有内容。千万别这样做!只需传入该域名本身即可获取该域名的所有子域名。这样会快得多,而且你不会遗漏任何内容。
注意:如果你已有 config.yml 文件,它不会被覆盖。系统会在同一目录下创建 config.yml.NEW 文件。如果需要新配置,请删除 config.yml 并将 config.yml.NEW 重命名为 config.yml。
waymore 支持 Python 3.7+(需要 Python 3.7 或更高版本以支持 async/await)。
在默认(全局)Python 环境中安装 waymore。```bash
pip install waymore
或
``````bash
pip install git+https://github.com/xnl-h4ck3r/waymore.git -v
您可以通过```bash pip install --upgrade waymore
### pipx
使用[pipx](https://pypa.github.io/pipx/)在隔离的Python环境中快速设置。```bash
pipx install git+https://github.com/xnl-h4ck3r/waymore.git
| ------- | ---------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| -i | --input | 目标域名(或域名文件)以查找链接。可以是仅域名,也可以是域名加具体路径。如果仅域名,则获取该域名的所有内容,请勿以 www. 开头。您也可以通过以句点开头来指定仅顶级域名,例如 .mil,这将获取所有具有该顶级域名的域名的子域名(注意:如果搜索顶级域名,则排除 Alien Vault OTX 源,因为它需要一个完整的域名)。注意:任何协议、端口号、查询字符串或 URL 片段都将从输入值中移除。但是,如果您提供路径,则会专门搜索该路径,因此会限制您的结果。 |
| -mode | | 运行模式:U(仅获取 URL)、R(仅下载响应)或 B(两者)。如果 -i 是仅域名,则 -mode 默认为 B。如果 -i 是带路径的域名,则 -mode 默认为 R。 |
| -oU | --output-urls | 保存链接输出到的文件,包括路径(如果需要)。如果未传递 参数,则会在 文件中 键指定的路径(通常默认为 )下创建一个 目录。在该目录内,会以 传递的目标域名(或带路径的域名)为名创建一个目录(或针对 传递的文件的每一行)。例如: |
| -oR | --output-responses | 保存响应输出文件的目录,包括路径(如果需要)。如果未传递该参数,则会在 文件中 键指定的路径(通常默认为 )下创建一个 目录。在该目录内,会以 传递的目标域名(或带路径的域名)为名创建一个目录(或针对 传递的文件的每一行)。例如: |
| -n | --no-subs | 不包含目标域名的子域名(仅在输入不是带特定路径的域名时使用)。 |
| -f | --filter-responses-only | 不对来自来源的初始链接进行过滤,仅过滤下载的响应,例如,查看所有可用路径的链接可能仍然有用,即使您不想检查内容。 |
| -fc | | 过滤检索到的 URL 和响应的 HTTP 状态码。以逗号分隔的代码列表(默认: 中的 值)。传递此参数将覆盖 中的值。 |
| -ft | | 过滤检索到的 URL 和响应的 MIME 类型。以逗号分隔的 MIME 类型列表(默认: 中的 值)。传递此参数将覆盖 中的值。 |
| -mc | | 仅匹配检索到的 URL 和响应的 HTTP 状态码。以逗号分隔的代码列表。传递此参数会覆盖配置中的 和 。 |
| -mt | | 仅匹配检索到的 URL 和响应的 MIME 类型。以逗号分隔的 MIME 类型列表。传递此参数会覆盖配置中的 和 。 |
| -l | --limit | 将要保存的响应数量(如果传递了 或 )。正值获取结果,负值获取结果。值为 0 将获取响应(默认:5000)。 |
| -from | --from-date | 获取数据的起始日期。如果未指定,则从最早可能的结果开始获取。可以传递部分值,例如 、 等。 |
| -to | --to-date | 获取数据的截止日期。如果未指定,则获取到最新可能的结果。可以传递部分值,例如 、 等。 |
| -ci | --capture-interval | 过滤 archive.org 上的搜索,仅获取每小时()、每天()或每月()最多 1 次捕获。此过滤器仅用于响应。默认值是 ,也可以设置为 以不过滤任何内容并获取所有响应。 |
| -ra | --regex-after | 用于过滤来自所有 URL 来源和下载响应的链接的正则表达式。 |
| -url-filename | | 将下载的响应文件名设置为生成该响应的 URL,否则将设置为响应的哈希值。使用哈希值意味着生成相同响应的多个 URL 只会为该响应保存一个文件。 |
| -xwm | | 排除对来自 Wayback Machine (archive.org) 的链接的检查。 |
| -xcc | | 排除对来自 commoncrawl.org 的链接的检查。 |
| -xav | | 排除对来自 alienvault.com 的链接的检查。 |
| -xus | | 排除对来自 urlscan.io 的链接的检查。 |
| -xvt | | 排除对来自 virustotal.com 的链接的检查。 |
| -xix | | 排除对来自 Intelligence X.com 的链接的检查。 |
| -xga | | 排除对来自 ghostarchive.org 的链接的检查。 |
| -lcc | | 限制搜索的 Common Crawl 索引集合数量,例如 将仅搜索最新的 个集合(默认:1)。截至 2024 年 11 月,目前共有 106 个集合。设置为 将搜索集合。如果您根本不想搜索 Common Crawl,请使用 选项。 |
| -t | --timeout | 仅适用于存档响应!在放弃之前等待服务器发送数据的秒数(默认:30)。 |
| -p | --processes | 获取 URL 文件请求时进行基本多线程处理。此参数决定使用的进程(线程)数(默认:2)。 |
| -r | --retries | 对于连接错误或速率限制的请求,重试次数(默认:1)。 |
| -sip | --source-ip OR --bind-ip | 将出站 HTTP/HTTPS 请求绑定到此源 IP(在多宿主主机上很有用)。传递此参数会覆盖 文件中的 值。 |
| -m | --memory-threshold | 内存阈值百分比。如果机器内存超过阈值,程序将在内存耗尽之前优雅地停止并结束(默认:95)。 |
| -ko | --keywords-only | 仅返回包含您感兴趣的关键字的链接和响应。这可以减少获取结果所需的时间。如果提供该标志但未赋值,则从 文件(通常在 )中 键的逗号分隔列表中获取关键字;否则,您可以传递一个特定的正则表达式值来使用,例如 仅获取包含 单词的链接,或 仅获取 JS 文件。正则表达式检查。 |
| -lr | --limit-requests | 限制从来源获取链接时发出的请求数量(这不适用于 Common Crawl)。某些目标可能返回大量所需的请求,这些请求无法实际获取,因此可以使用此参数来管理这种情况。默认值为 0(零),表示没有限制。 |
| -ow | --output-overwrite | 如果 URL 输出文件(默认 ,或由 指定)已存在,则将被覆盖而不是追加。 |
| -nlf | --new-links-file | 如果传递此参数,还将写入一个 文件(如果使用了 ,则该文件名将带有 后缀),其中包含最新运行的链接。这可用于对目标进行持续监控(仅适用于 ,不适用于 )。 |
| | --stream | 一旦找到 URL,立即输出到 STDOUT(将显示重复项)。仅适用于 。所有其他输出被抑制,因此使用 查看任何错误。使用 明确将结果保存到文件(将去重)。 |
| -c | --config | YML 配置文件的路径。如果未传递,则在默认目录(通常为 )中查找 文件。 |
| -wrlr | --wayback-rate-limit-retry | 用户希望在 Wayback Machine (archive.org) 上等待速率限制暂停的分钟数,而不是以 错误停止(默认:3)。 |
| -urlr | --urlscan-rate-limit-retry | 用户希望在 URLScan.io 上等待速率限制暂停的分钟数,而不是以 错误停止(默认:1)。 |
| -co | --check-only | 这将进行一些最小的请求,以向您展示从来源获取 URL 以及从 Wayback Machine 下载响应可能需要多少请求以及大致需要多长时间(遗憾的是无法检查从 URLScan 下载响应需要多长时间)。 |
| -nd | --notify-discord | 是否在 waymore 完成时向 Discord 发送通知。需要在 文件中提供 。 |
| -nt | --notify-telegram | 是否在 waymore 完成时向 Telegram 发送通知。需要在 文件中提供 和 。 |
| -oijs | --output-inline-js | 是否在使用 (或 )时,将响应目录中所有相关文件的组合内联 JavaScript 保存下来。文件以 的名称保存,其中 是文件编号,每个文件保存 1000 个唯一脚本。还将创建 文件,其中包含文件中引用的所有外部脚本的 值。 |
| -v | --verbose | 详细输出。 |
| | --version | 显示当前版本号。 |
| -h | --help | 显示帮助消息并退出。 |## 使用 Docker 运行
安装 docker```bash git clone https://github.com/xnl-h4ck3r/waymore.git cd waymore
构建镜像:```bash
docker build -t waymore .
使用以下命令运行 waymore:```bash docker run -it --rm -v $PWD/results:/app/results waymore:latest -i example.com -oU example.com.links -oR results/example.com/
## 输入与模式
输入参数 `-i` 可以是一个域名,例如 `redbull.com`,或者是一个具体的域名加路径,例如 `redbull.com/robots.txt`。你也可以传递一个包含域名/URL 的文件进行处理(或者通过命令行管道从其他程序传递值)。**注意:任何协议、端口号、查询字符串或 URL 片段都会从输入值中移除。但是,如果你提供了路径,该路径会被专门搜索,从而会限制你的结果。**
waymore 可以运行不同的模式。`-mode` 参数可以有 3 种不同的值:
- `U` - 将从 archive.org(如果未传递 `-xwm`)、commoncrawl.org(如果未传递 `-xcc`)、otx.alienvault.com(如果未传递 `-xvv`)和 urlscan.io(如果未传递 `-xus`)获取 URL
- `R` - 将从 archive.org 下载响应
- `B` - 将同时获取 URL 和响应
如果输入是一个特定的 URL,例如 `redbull.com/robots.txt`,则 `-mode` 默认为 `R`。只会下载响应。对于带路径的域名,你不能将模式改为 `U` 或 `B`,因为不需要为特定的 URL 获取 URL。
如果输入只是一个域名,例如 `redbull.com`,则 `-mode` 默认为 `B`。如果需要,可以改为 `U` 或 `R`。当仅传递域名时,将获取该域名(以及子域名,除非传递了 `-n`)的所有 URL/响应。如果传递了无子域名选项 `-n`,则默认仍会包含 `www` 子域名。
## config.yml
`config.yml` 文件(通常位于 `~/.config/waymore/`)中包含可根据你的需求更新的值。过滤器都以逗号分隔列表的形式提供:
- `FILTER_CODE` - 用于排除我们试图从 web.archive.org 获取的响应以及当 `-i` 为目录时的文件名的排除项,例如 `301,302`。可以通过 `-fc` 参数覆盖。传递 `-mc`(匹配状态码而非过滤)将覆盖 `FILTER_CODE` 或 `-fc` 中的任何值。
- `FILTER_MIME` - 用于通过 API 过滤来自 web.archive.org 的链接和响应的 MIME Content-Type 排除项,例如 `'text/css,image/jpeg`。可以通过 `-ft` 参数覆盖。传递 `-mt`(匹配 MIME 类型而非过滤)将覆盖 `FILTER_MIME` 或 `-ft` 中的任何值。
- `FILTER_URL` - 用于过滤来自 web.archive.org 的链接和响应的响应代码排除项,例如 `.css,.jpg`
- `FILTER_KEYWORDS` - 如果传递了 `-ko`/`--keywords-only` 参数(且在命令行上没有提供显式的值),则只返回包含指定关键词的链接和响应,例如 `admin,portal`
- `URLSCAN_API_KEY` - 你可以注册 [urlscan.io](https://urlscan.io/user/signup) 获取一个**免费**的 API 密钥(也有付费订阅可用)。建议你获取一个密钥并将其放入配置文件中,以便从他们的 API 中获得更多(且更快)的返回。注意:除非你拥有完整的付费订阅,否则你会受到速率限制。
- `CONTINUE_RESPONSES_IF_PIPED` - 如果获取存档响应未完成,下次运行时你会被提示是否继续之前的运行。但是,如果 `stdout` 被管道传输到另一个进程,则假定你不想有交互式提示。值为 `True`(默认)将确保继续之前的运行。如果你希望每次都重新运行,则设置为 `False`。
- `WEBHOOK_DISCORD` - 如果传递了 `--notify-discord` 参数,`waymore` 将向此 Discord Webhook 发送通知。
- `TELEGRAM_BOT_TOKEN` - 如果传递了 `--notify-telegram` 参数,`waymore` 将使用此令牌向 Telegram 发送通知。
- `TELEGRAM_CHAT_ID` - 如果传递了 `--notify-telegram` 参数,`waymore` 将向此聊天 ID 发送通知。
- `DEFAULT_OUTPUT_DIR` - 如果未使用 `-oU` 和 `-oR` 参数,这是任何输出文件的默认位置。如果此键的值为空,则默认为 `config.yml` 文件所在的位置。
- `INTELX_API_KEY` - 你可以在[此处注册 intelx.io](https://intelx.io/product)。需要通过他们的 API 进行 `/phonebook/search` 需要学术或付费 API 密钥(截至 2024-09-01,由于垃圾邮件账户的持续滥用,Phonebook 服务已限制为学术或付费用户)。如果你使用有效的学术邮箱注册,你可以获得免费用于学术目的的 API 密钥。
- `SOURCE_IP` - 可选。在多宿主主机上将出站 HTTP/HTTPS 请求绑定到特定的源 IP。也可以通过 `--source-ip/--bind-ip` 命令行标志设置(命令行优先)。
**注意:Alien Vault OTX、Virus Total 和 Intelligence X 无法过滤 MIME 类型,因为它们没有按 MIME 类型过滤的能力。有时 URLScan 没有为 URL 定义 MIME 类型。在这些情况下,无论过滤器或匹配条件如何,URL 都会被包含。请记住这一点,如果这很重要,考虑排除某些提供者。**
## 输出
在 `config.yml` 文件中通过 `DEFAULT_OUTPUT_DIR` 指定的默认输出目录中(如果该值为空,则默认为 `config.yml` 文件本身的位置,通常为 `~/.config/waymore/`),会创建一个 `results` 目录。在该目录下,会为通过 `-i` 传递的目标域名(或带路径的域名)创建一个目录(如果 `-i` 传递的是文件,则为文件的每一行创建一个目录)。你也可以使用参数 `-oU` 来指定 URL 链接文件的输出位置(以及文件名)。你还可以使用参数 `-oR` 来指定存档响应的输出目录(或路径)。
运行时,会在目标目录中创建以下文件:
- `waymore.txt` - 如果 `-mode` 为 `U` 或 `B`,此文件将包含来自所选来源的链接。将从 archive.org Wayback Machine(除非传递了 `-xwm`)、commoncrawl.org(除非传递了 `-xcc`)、otx.alienvault.com(除非传递了 `-xav`)和 urlscan.io(除非传递了 `-xus`)获取链接。如果同时传递了 `-ow` 选项,则目标结果目录中任何现有的 `waymore.txt` 文件将被覆盖,否则新链接将被追加,重复项将被移除。
- `index.txt` - 如果 `-mode` 为 `R` 或 `B`,并且未传递 `-url-filname`,则将下载存档响应,并使用哈希值作为保存的文件名。此文件包含一个逗号分隔的列表 `<hash>,<archive URL>,<timestamp>`,以便在需要时知道哪些 URL 产生了哪些响应。
- `ALL OTHER FILES` - 如果 `-mode` 为 `R` 或 `B`,则会创建这些存档响应文件。如果传递了 `-url-filename`,则文件名将是生成响应的存档 URL,例如 `https--example.com-robots.txt`;否则文件名将是哈希值,例如 `7960113391501.{EXT}`,其中 `{EXT}` 是从路径派生的扩展名,否则将从响应 `content-type` 派生。有时会给出通用扩展名,例如包含 `javascript` 的任何内容类型将使用 `.js`,否则可能会设置为类型的最后一部分(例如,如果是 `application/java-archive`,文件将是 `7960113391501.java-archive`)。使用哈希值意味着写入的文件更少,因为每个唯一响应只有一个文件。这些存档响应在保存之前会经过编辑,以移除对 `web.archive.org` 的任何引用。
## 信息与建议
对于许多域名来说,找到的链接数量,以及随后可能会下载的存档响应文件数量可能**非常庞大**。这个工具不在于速度,而在于寻找更多,所以请耐心等待。
有一个 `-p` 选项可以增加进程数量(用于从所有来源获取链接,以及从 archive.org 下载存档响应)。但是,尽管可能不如你期望的那么快,我建议将 `-p` 保持默认值 3,因为我个人发现较高的值会导致获取响应时出现问题。我们不想给这些服务带来任何问题,所以要明智使用!
我经常使用 `-f` 选项,因为我希望 `waymore.txt` 包含所有可能的链接。即使我不关心图片、字体等,但看到所有可能的路径和参数仍然有用。不过,过滤器始终会应用于下载存档响应。你不想浪费时间下载成千上万张图片!
使用 `-v` 选项可以帮助查看幕后发生的事情,如果在没有得到预期输出时,它可能会对你有帮助。
当使用 `-v` 时,将显示找到的所有 URL 的 MIME Content Types(除 Alien Vault 以外的所有来源)。如果你发现仍然得到不想要的内容,这有助于添加进一步的排除项。如果你发现某个 MIME 类型被包含但你不希望它出现,可以将其添加到 `config.yml` 的 `FILTER_MIME` 中。
需要注意的是,有时 archive.org 上的 MIME 类型存储为 `unk` 和 `unknown`,而不是真实的 MIME,因此过滤器不一定能从其结果中移除它们。可以使用 `FILTER_URL` 配置设置来在之后移除这些结果。例如,如果一个 GIF 的 MIME 类型是 `unk` 而不是 `image/gif`(并且 `image/gif` 在 `FILTER_MIME` 中),那么它不会被过滤掉,但如果 url 是 `https://target.com/assets/logo.gif` 且 `.gif` 在 `FILTER_URL` 中,它就不会被请求。
如果 `config.yml` 不存在,或者文件中的过滤器条目缺失,则会使用默认过滤器。最好拥有该文件并检查这些设置,以确保你得到所需的内容。
潜在的响应可能有数百万条,因此请确保设置过滤器,同时根据需要设置限制(`-l`)、起始日期(`-from`)、截止日期(`-to`)和/或捕获间隔(`-ci`)。限制默认为 5000,但假设你想获取从 2015 年到 2018 年 1 月的最近 20,000 条响应……你应该传递 `-l -20000 -from 2015 -to 201801`。捕获间隔决定在指定时间段内为特定 URL 下载多少条响应,例如,如果设置为 `m`,则每个 URL 每月只获取一条响应。默认的 `d` 可能会大大减少响应数量,并且不太可能错过许多唯一响应,除非目标在同一天内多次更改。
另一个有用的参数是 `-mc`,它将只获取 HTTP 状态码与传递的逗号分隔列表匹配的结果,例如 `-mc 200` 或 `-mc 200,403`。
你也可以通过仅返回包含你感兴趣的关键词的链接和响应来大幅减少数量(因此也减少执行时间)。你可以在 `config.yml` 中使用 `FILTER_KEYWORDS` 键列出这些关键词,然后传递参数 `-ko`/`--keywords-only` 来使用它们,或者你可以传递 `-ko`/`--keywords-only` 并带有一个特定的正则表达式,例如 `-ko "\.js(\?.*|$)"` 只获取 JS 文件。**注意:CDX 正则表达式要求所有路径匹配整个字符串,因此如果在 OR 组中使用了 `$`,则正则表达式的 `(\?.*|$)` 部分中需要包含 `.*`。**
如上所述,注册 [urlscan.io](https://urlscan.io/user/signup) 以获取一个**免费**的 API 密钥(也有付费订阅可用)。建议你获取一个密钥并将其放入 `config.yml` 文件中,以便从他们的 API 中获得更多(且更快)的返回。注意:除非你拥有完整的付费订阅,否则你会受到速率限制。
archive.org Wayback Machine CDX API 有时可能需要发起大量请求才能获取所有链接。例如,如果你为 `-i twitter.com` 运行 **waymore**,它表示需要向 archive.org 发起 **28,903,799** 次请求(对某些人来说可能需要近 1000 天!!!)。参数 `-lr` 可用于限制每个来源的请求数量(尽管通常是 archive.org 有问题)。该参数的默认值是 0(零),表示不施加限制。
Wayback Machine CDX API 还存在一个问题:在应用过滤器后返回的页面数量不正确,并且可能导致问题(参见 https://github.com/internetarchive/wayback/issues/243)。在该问题解决之前,将 `-lr` 参数设置为一个合理的值可以在短期内帮助缓解该问题。
Common Crawl API 长期以来存在许多问题。包含此源可能会使 waymore 运行时间大大延长,并且可能不会产生额外的结果。你可以通过访问 http://index.commoncrawl.org/collinfo.json 并检查是否成功来查看是否存在问题。考虑使用 `--providers` 参数完全不包含 `commoncrawl`,或使用 `-xcc` 参数完全排除 Common Crawl。
**提供商的 API 服务器并非设计来处理大量请求,所以请明智且体谅地对待它们!**
下载存档响应时,这可能需要很长时间,并且可能会因机器原因或用户手动终止而中断。
在目标 `results` 目录中,会在过程开始时创建一个名为 `responses.tmp` 的文件,其中包含将要获取的所有响应 URL。还会有一个名为 `continueResp.tmp` 的文件,用于存储最新已获取响应的索引。如果运行 waymore 以获取响应(`-mode R` 或 `-mode B`),并且这些文件存在,则意味着之前有一次不完整的运行,系统会询问你是否要从中断处继续。然后它会在上次停止的地方继续运行。
## 一些基本示例
### 示例 1
仅从所有来源获取 `redbull.com` 的 URL(`-mode U` 仅用于获取 URL,因此不下载响应):
<center><img src="https://raw.githubusercontent.com/xnl-h4ck3r/waymore/main/waymore/images/example1.png"></center>
URL 保存在与 `config.yml` 相同的路径下(通常为 `~/.config/waymore`)的 `results/redbull.com/waymore.txt` 中。
### 示例 2
从 Wayback 获取 `redbull.com` 的所有 URL(在 `mode U` 中未应用过滤器 `-f`,并且没有从 Commone Crawl、Alien Vault、URLScan 和 Virus Total 获取 URL,因为分别传递了 `-xcc`、`-xav`、`-xus`、`-xvt`。也可以通过传递 `--providers wayback` 来代替排除参数实现)。保存从 2022 年开始找到的前 200 条响应(`-l 200 -from 2022`):
<center><img src="https://raw.githubusercontent.com/xnl-h4ck3r/waymore/main/waymore/images/example2.png"></center>
`-mode` 未显式设置,因此默认为 `B`(两者 - 既获取 URL 又下载响应)。将为每个唯一响应创建一个文件,并保存在 `results/redbull.com/` 中:
<center><img src="https://raw.githubusercontent.com/xnl-h4ck3r/waymore/main/waymore/images/example3.png"></center>
还会有一个 `results/redbull.com/index.txt` 文件,其中包含哪些 URL 提供了哪些响应文件的引用,例如:```
4847147712618,https://web.archive.org/web/20220426044405/https://www.redbull.com/additional-services/geo ,2022-06-24 20:07:50.603486
其中 4847147712618 是 4847147712618.xnl 中响应的哈希值,第二个值是 Wayback Machine URL,您可以查看存档的实际页面,第三个是响应的下载时间戳。
您可以将 waymore 的输出传递给其他工具。任何错误都发送到 stderr,找到的任何链接都发送到 stdout。除了将链接传递给下一个程序外,输出文件仍会被创建。然而,存档的响应不会传递给下一个程序,但它们仍会被写入文件。例如:```
waymore -i redbull.com -mode U | unfurl keys | sort -u
还可以通过 `stdin` 传递输入,而不是使用 `-i`。```
cat redbull_subs.txt | waymore
有时你可能只是想检查一下,如果对某个特定域名运行 waymore,会发起多少请求以及需要多长时间。你可以使用 -co/--check-only 参数快速检查。例如:```
waymore -i redbull.com --check-only
<center><img src="https://raw.githubusercontent.com/xnl-h4ck3r/waymore/main/waymore/images/example4.png"></center>
## 寻找更多URL!
现在你有了大量存档的响应数据,还想找到更多链接?简单!为何不使用 [xnLinkFinder](https://github.com/xnl-h4ck3r/xnLinkFinder)?
例如:```
xnLinkFinder -i ~/Tools/waymore/results/redbull.com -sp https://www.redbull.com -sf redbull.com -o redbull.txt
或者运行其他工具,如 trufflehog 或 gf 对响应目录进行扫描,从存档的响应中发现更多内容!
以下是我为 Jason Haddix 的 Discord 频道 在 2024 年 3 月所做的一场深度讲解,涵盖了关于 waymore 所有你需要知道的内容。
注意:此视频来自 2024 年 3 月,因此此后添加的功能将不会出现在其中,且某些功能可能已发生变化。请务必核对当前的说明文档。
如果您遇到任何问题,或者有改进建议,欢迎在 Github 上提出 issue。如果是问题,请提供您运行的确切命令以及问题的详细描述。如果可能,请使用 -v 参数复现问题,并告知出现的任何错误信息。
-oos 参数,用于接收一个包含超出范围子域名/URL 的文件,这些内容不会出现在输出中,也不会下载任何响应。waymore_index.txt 在多次对同一输入使用 -mode R 或 -mode B 运行时,不会被去重。祝你好运,狩猎愉快! 如果你真的喜欢这个工具(或其它任何工具),或者它帮助你找到了一个不错的漏洞赏金,可以考虑 请我喝杯咖啡! ☕(我需要咖啡因!)
🤘 /XNL-h4ck3r
-oRconfig.ymlDEFAULT_OUTPUT_DIR~/.config/waymore//results-i-i-oU ~/Recon/Redbull/waymoreUrls.txtconfig.ymlDEFAULT_OUTPUT_DIR~/.config/waymore//results-i-i-oR ~/Recon/Redbull/waymoreResponsesconfig.ymlFILTER_CODEconfig.ymlconfig.ymlFILTER_MIMEconfig.ymlFILTER_CODE-fcFILTER_MIME-ft-mode R-mode B20162018052021202112hdmdnone-ra '\.js(\?\|$)'-lcc 10100-xccconfig.ymlSOURCE_IPconfig.yml~/.config/waymore/FILTER_KEYWORDS-ko "admin"admin-ko "\.js(\?.*\|$)"waymore.txt-oUwaymore.new-oU.newmode Umode R-mode U-v-oU~/.config/waymoreconfig.yml429429config.ymlWEBHOOK_DISCORDconfig.ymlTELEGRAM_BOT_TOKENTELEGRAM_CHAT_ID-mode R-mode BcombinedInline{}.js{}combinedInlineSrc.txtsrc