pagesource

一个 Python CLI 工具，可捕获网页加载的所有资源（类似浏览器 DevTools 的 Sources 标签页），并按照原始目录结构保存。

安装

pip install pagesource

# IMPORTANT: Install Playwright browser after package installation
playwright install chromium

用法

基础用法

# Capture all resources from a webpage
pagesource https://example.com

这会将所有资源保存到 ./pagesource_output/，并保留目录结构。

选项

# Specify custom output directory
pagesource https://example.com -o ./my-output

# Wait extra time for JavaScript content (useful for SPAs)
pagesource https://example.com --wait 5

# Include external resources (CDN assets, third-party scripts)
pagesource https://example.com --include-external

# Combine options
pagesource https://example.com -o ./output --wait 3 --include-external

CLI 参考

pagesource <url> [OPTIONS]

Arguments:
  url                     URL of the webpage to capture resources from

Options:
  -o, --output PATH       Output directory (default: ./pagesource_output)
  -w, --wait INTEGER      Additional seconds to wait after page load
  -e, --include-external  Include external resources (CDN, third-party)
  -v, --version           Show version and exit
  --help                  Show help message

输出结构

资源保存时保留 URL 路径结构：

pagesource_output/
└── example.com/
    ├── index.html
    ├── assets/
    │   ├── css/
    │   │   └── style.css
    │   └── js/
    │       └── app.js
    └── images/
        └── logo.png

如果使用了 --include-external，外部资源将保存到各自的主机目录中：

pagesource_output/
├── example.com/
│   └── ...
├── cdn.example.com/
│   └── libs/
│       └── library.js
└── fonts.googleapis.com/
    └── css/
        └── font.css

功能特点

• 捕获页面加载的所有网络资源（HTML、CSS、JS、图片、字体等）
• 保留原始目录结构
• 处理查询字符串（从文件名中去除）
• 当缺少文件扩展名时，根据 Content-Type 推断扩展名
• 处理重复文件名
• 清理路径以确保文件系统安全
• 可选的等待时间，适用于 JavaScript 密集型页面

环境要求

• Python 3.10+
• Playwright（包含 Chromium 浏览器）

许可证

MIT