uro

在安全测试中使用URL列表可能会很痛苦，因为有很多URL包含无趣/重复的内容；uro旨在解决这个问题。

它不对URL进行任何HTTP请求，并移除：

• 递增的URL，例如 /page/1/ 和 /page/2/
• 博客文章及类似的人工编写内容，例如 /posts/a-brief-history-of-time
• 路径相同但参数值不同的URL，例如 /page.php?id=1 和 /page.php?id=2
• 图片、js、css 以及其他“无用”文件

安装

推荐通过以下方式安装 uro：

pipx install uro

注意：如果你使用的是旧版 Python，请使用 pip 代替 pipx

基本用法

将 uro 集成到工作流程中最快的方式是通过标准输入传入数据并打印到终端。

cat urls.txt | uro

高级用法

从文件读取 URL (-i/--input)

uro -i input.txt

将 URL 写入文件 (-o/--output)

如果文件已存在，uro 不会覆盖其内容。否则，它会创建新文件。

uro -i input.txt -o output.txt

白名单（-w/--whitelist）

uro 将忽略除所提供扩展名之外的所有其他扩展名。

uro -w php asp html

注意： 无扩展名的页面（例如 /books/1）仍会被保留。要同时移除它们，请使用 --filter hasext。

黑名单（-b/--blacklist）

uro 将忽略给定的扩展名。

uro -b jpg png js pdf

注意： uro 内置了一个默认移除的“无用”扩展名列表；该列表将被你在黑名单选项中提供的任何扩展名覆盖。无扩展名的页面（例如 /books/1）仍会被保留。要同时移除它们，请使用 --filter hasext。

过滤器（-f/--filters）

为了进行精细控制，uro 支持以下过滤器：

1. hasparams： 仅输出带有查询参数的 URL，例如 http://example.com/page.php?id=
2. noparams： 仅输出没有查询参数的 URL，例如 http://example.com/page.php
3. hasext： 仅输出带有扩展名的 URL，例如 http://example.com/page.php
4. noext： 仅输出没有扩展名的 URL，例如 http://example.com/page
5. allexts： 不基于扩展名移除任何页面，例如保留 .jpg（否则会被移除）
6. keepcontent： 保留人工编写的内容，例如博客。
7. keepslash： 不删除 URL 末尾的斜杠，例如 http://example.com/page/
8. vuln： 仅输出带有已知易受攻击参数的 URL。更多信息

示例：uro --filters hasexts hasparams