Skip to content
KitploitKITPLOIT
工具漏洞利用博客
Log in
提交
工具漏洞利用博客
提交

黑客、渗透测试和网络安全工具,武装您的安全武器库!

Kitploit 是一个黑客、网络安全和渗透测试工具的目录。发现最新的项目更新,查找漏洞、分析系统、自动化测试并加强你的安全。

订阅源联系隐私© 2026 Kitploit

工具目录

分类

查看所有分类
Loading categories
urx — 从 OSINT 档案中提取 URL,用于安全洞察 | Kitploit
工具/GitHubGitHub/hahwul/urx
OSINT (开源情报)侦察信息收集Web安全网络爬虫
GitHubhahwul/urx

urx

从 OSINT 档案中提取 URL,用于安全洞察

查看仓库
19020992天前Kitploit 审核通过
分享
网站
Urx Logo

从 OSINT 档案中提取 URL,助力安全洞察。

Urx 从 Wayback Machine 和 Common Crawl 等 OSINT 档案中收集某个域名的 URL。它会并行查询每个来源,然后对结果进行过滤、测试和格式化,以供安全工作使用。

功能特性

  • 无需密钥的来源:Wayback Machine、Common Crawl、OTX、Arquivo.pt、URLScan(匿名)
  • 支持密钥轮换的需密钥来源:VirusTotal、URLScan、ZoomEye、GitHub Code Search、BeVigil(来自 Android 应用的 URL)
  • 通过 --cdx-endpoint 支持任何其他 CDX 服务器(pywb、OutbackCDX、国家档案馆)
  • 档案侧过滤器(--from/--to、--archive-status、--archive-mime)在 CDX 查询内部执行
  • 客户端元数据过滤器(--meta-*),针对捕获日期、MIME 类型和状态,适用于所有提供方
  • 路径范围目标(urx example.com/shop)和漏洞赏金范围文件(--scope-file)
  • 按扩展名、子字符串、正则(--match-regex、--filter-regex)和预设(no-images、only-js、only-secrets、only-backup、only-config、only-api、only-tokens)进行过滤,并支持在配置文件中定义你自己的预设
  • 规范化与去重:--normalize-url、--merge-endpoint、--dedup-similar
  • 输出为纯文本、JSON、JSON Lines、CSV 或 wordlist;--stream 会在 URL 到达时立即写出
  • 参数视图:--params、--params-by-endpoint、--fuzz-placeholder FUZZ,用于 ffuf 或 dalfox
  • 每个 URL 的捕获元数据:first_seen、last_seen、mime、archive_status、digest
  • 输入来自 WARC、URLTeam 和文本文件(--files)或 stdin
  • 实时测试:--check-status、--check-title、--extract-links、--extract-js-endpoints
  • 归档正文:--archive-body 从已不存在的页面中挖掘链接,每个不同正文仅请求一次;--archive-body-dir 会保留它们
  • API 规范扩展(--expand-specs):OpenAPI 3.x、Swagger 2.0、GraphQL introspection
  • 归档的 robots.txt 和 sitemap.xml 版本(--archived-discovery)
  • 对目标进行认证请求(-H、--cookie、--user-agent),绝不会发送到档案
  • SQLite 或 Redis 缓存(Redis 需要 --features redis-cache 构建)、--incremental 扫描、urx cache 维护以及 --notify webhook

Preview

安装

cargo install urx       # https://crates.io/crates/urx
brew install urx        # https://formulae.brew.sh/formula/urx
yay -S urx              # AUR
choco install urx       # Chocolatey (Windows)

从源代码(二进制文件位于 target/release/urx):

git clone https://github.com/hahwul/urx.git
cd urx
cargo build --release

Docker(ghcr.io/hahwul/urx)。该镜像没有入口点,因此请将 ./urx 放在镜像名称之后:

docker run --rm ghcr.io/hahwul/urx:latest ./urx example.com

适用于 Linux、macOS 和 Windows 的预编译二进制文件(每个都附带 .sha256 文件)可在 releases 页面 获取。

Shell 补全(bash、zsh、fish、powershell、elvish)以及 man 手册页:

urx --completions zsh > ~/.zfunc/_urx        # ~/.zfunc must be on $fpath
urx --completions bash > ~/.local/share/bash-completion/completions/urx
urx --completions fish > ~/.config/fish/completions/urx.fish
urx --manpage > ~/.local/share/man/man1/urx.1

用法

基本用法

urx example.com                 # one domain
urx example.com example.org     # several domains
cat domains.txt | urx           # domains from stdin

选项

Usage: urx [OPTIONS] [DOMAINS]... [COMMAND]

Commands:
  cache  Inspect and maintain the URL cache: stats, list, prune, drop <DOMAIN>..., clear

Arguments:
  [DOMAINS]...  Domains to fetch URLs for

Options:
  -c, --config <CONFIG>           Config file to load
      --provider-config <PATH>    Separate provider config file holding only API keys (default: ~/.config/urx/provider-config.toml; %APPDATA%\urx\ on Windows). CLI/env > provider-config > main config.
      --completions <SHELL>       Print a shell completion script (bash, zsh, fish, powershell, elvish) to stdout and exit
      --manpage                   Print the roff man page to stdout and exit
  -h, --help             Print help
  -V, --version          Print version

Input Options:
      --files <FILES>...        Read URLs directly from files (supports WARC, URLTeam compressed, and text files)
      --domain-list <PATH>      File of newline-separated domains to scan (repeatable; merged with positional DOMAINS; stdin is read only when they name no domains; `#` comments allowed) [alias: --dL]

Output Options:
  -o, --output <OUTPUT>          Output file to write results
      --output-dir <PATH>        Write one file per URL host into this directory (extension matches --format). Coexists with --output / stdout. [alias: --oD]
  -f, --format <FORMAT>          Output format: "plain", "json" (one array), "jsonl" (one JSON object per line), "csv", "wordlist" (path segments and parameter names, deduplicated and sorted); anything else is a usage error [default: plain]
      --stream           Write URLs as each provider reports them instead of once at the end (unsorted; bypasses cache; rejects options needing the full result set)
      --merge-endpoint   Merge endpoints with the same path and merge URL parameters
      --normalize-url    Normalize URLs for better deduplication (sorts query parameters, removes trailing slashes)
      --dedup-similar    Collapse URLs that differ only in variable data (numeric ids, UUIDs, hashes, dates, query values)
      --params           Replace the URL list with every query parameter name the run saw, once each
      --params-by-endpoint
                         One line per endpoint: the endpoint and the comma-separated union of the parameter names seen on it (id-looking path segments collapse to `{id}`)
      --fuzz-placeholder <VALUE>
                         Replace every query parameter value with VALUE, keeping one URL per parameter signature — output you can feed straight to ffuf or dalfox
下载工具

最受欢迎

查看全部 →

发现我们社区最常用的工具。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 终极 OSINT 工具包:调查图谱、置信度评分、别名家族、地图、时间线和报告。49 个模块、400+ 个站点,无需 API 密钥。

    795
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock 一键执行应用(CVE-2026-43499)

    520
  • 3

    ARTEX

    baarai/artex

    基于LLM的多智能体自主渗透测试平台,具备规划器/执行器智能体、资产与探索图谱、MITM流量记录以及漏洞复测功能。

    439
  • 4

    redforge

    cybersecurity91/redforge

    浏览器端红队工具包,包含 102 个离线工具,用于侦察、载荷生成、凭据攻击、加密、编码和交战报告。

    346
  • 5

    looking-glass

    anonghosty/looking-glass

    CSIRT 平台,可将 Shadowserver 报告导入 MongoDB,并将其重放为交互式地图、分析、发现、公告和高管仪表板。

    267
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI原生网络安全的行动系统——在这里,意图转化为受治理的执行,证据沉淀为运营记忆,每一次操作都让下一次更出色。

    264

探索所有工具

浏览我们的工具集合

查看所有工具 →