返回更新列表
新发布Sep 3, 2026

skyvern v1.0.52

使用AI自动化基于浏览器的工作流程

分享


🐉 使用 LLM 和计算机视觉自动化基于浏览器的工作流 🐉

Skyvern 使用 LLM 和计算机视觉来自动化基于浏览器的工作流。它提供了一个兼容 Playwright 的 SDK,在 playwright 之上增加了 AI 功能,同时还提供了一个无代码工作流构建器,帮助技术用户和非技术用户自动化任何网站上的手动工作流,取代脆弱或不可靠的自动化解决方案。

传统的浏览器自动化方法需要为网站编写自定义脚本,通常依赖 DOM 解析和基于 XPath 的交互,一旦网站布局发生变化,这些方法就会失效。

Skyvern 不只依赖代码定义的 XPath 交互,而是依靠视觉 LLM 来学习和与网站交互。

工作原理

Skyvern 的灵感来自 BabyAGI 和 AutoGPT 推广的任务驱动自主智能体设计——但有一个重大优势:我们赋予 Skyvern 使用 Playwright 等浏览器自动化库与网站交互的能力。

Skyvern 使用一组智能体来理解网站,并规划和执行其操作:

这种方法有几个优势:

  1. Skyvern 可以在它从未见过的网站上运行,因为它能够将视觉元素映射到完成工作流所需的操作,无需任何自定义代码
  2. Skyvern 对网站布局变化具有抵抗力,因为在尝试导航时,我们的系统不会寻找预先确定的 XPath 或其他选择器
  3. Skyvern 能够将单个工作流应用于大量网站,因为它能够推理出完成工作流所需的交互 详细的技术报告可以在这里找到。

演示

https://github.com/user-attachments/assets/5cab4668-e8e2-4982-8551-aab05ff73a7f

快速开始

Skyvern Cloud

Skyvern Cloud 是 Skyvern 的托管云版本,让你无需担心基础设施即可运行 Skyvern。它允许你并行运行多个 Skyvern 实例,并内置了反机器人检测机制、代理网络和 CAPTCHA 求解器。

如果你想试用,请访问 app.skyvern.com 并创建一个账户。

本地运行(UI + 服务器)

选择你偏好的安装方式:

数据库默认值:skyvern quickstart 和 skyvern run server 默认使用位于 ~/.skyvern/data.db 的 SQLite 数据库,因此 pip 方式无需 Postgres 或 Docker 即可运行。若要改用 Postgres,请为现有数据库传入 --database-string(或省略 --no-postgres,让 quickstart 启动自带的 Postgres 容器)。Docker Compose 始终使用内置的 Postgres 服务。

方式 A:pip 安装(推荐用于由 Python 管理的本地环境)

所需依赖:

此外,在 Windows 上还需要:

  • Rust
  • 安装了 C++ 开发工具和 Windows SDK 的 VS Code

1. 安装 Skyvern

pip install "skyvern[server]"

server 附加组件会安装本地 API 服务器。不带该附加组件执行 pip install skyvern 只会安装客户端 SDK。pip 包不包含 Web UI;如需使用 UI,请使用 Docker Compose 或源码检出。

2. 运行 Skyvern

skyvern quickstart

pip 快速开始默认使用 SQLite。若要改用本地 Postgres 容器,请运行 skyvern quickstart(除非传入 --no-postgres,否则会启动 Postgres 容器),或使用 --database-string=postgresql+psycopg://user:pass@host:5432/dbname 连接到现有数据库。

选项 B:Docker Compose

如果你希望所有组件都容器化(Postgres、API、UI),并且不想在本地安装 Python/Node,请使用此选项。

  1. 安装 Docker Desktop
  2. 克隆仓库:
    git clone https://github.com/skyvern-ai/skyvern.git && cd skyvern
    
  3. 在 .env 中配置你的 LLM 提供商(如果缺失,下面的 quickstart --docker-compose 命令会从 .env.example 创建它):
    cp .env.example .env  # if not already created
    # edit .env to add your LLM API key
    
  4. 启动所有服务:
    docker compose up -d
    
  5. 打开 http://localhost:8080

故障排查

(sqlite3.OperationalError) table organizations already exists — 你遇到了 pip install skyvern==1.0.31 中的一个已知 bug。修复方法:

rm ~/.skyvern/data.db   # remove the leftover SQLite file
pip install --upgrade skyvern   # 1.0.32+ contains the fix
skyvern quickstart

如果你仍在使用 1.0.31 且无法升级,请改用 uv 安装:

uv pip install skyvern

pip install skyvern 因 ResolutionImpossible 失败(litellm / fastmcp) — 你在 1.0.31 中遇到了依赖解析冲突。请升级到 1.0.32+ 或使用 uv:uv pip install skyvern。

SDK

Skyvern 是一个 Playwright 扩展,增加了 AI 驱动的浏览器自动化能力。 它为你提供 Playwright 的全部能力,并附加 AI 功能——使用自然语言提示与元素交互、提取数据,并自动化复杂的多步骤工作流。

安装:

  • Python SDK / 云端 API:pip install skyvern
  • 带浏览器和页面命令的 Python SDK,包括 Skyvern.local():pip install "skyvern[local]"
  • 本地 API 服务器:pip install "skyvern[server]" 然后运行 skyvern quickstart
  • 使用你自己的 Postgres 的本地 API 服务器:pip install "skyvern[server]" 然后运行 skyvern quickstart --database-string=postgresql+psycopg://user:pass@host:5432/dbname
  • Web UI:不包含在 pip 包中。请使用 Docker Compose,或从源码检出运行 skyvern run ui。
  • TypeScript:npm install @skyvern/client

AI 驱动的页面命令

Skyvern 直接在页面对象上增加了四个核心 AI 命令:

命令描述
page.act(prompt)使用自然语言执行操作(例如“点击登录按钮”)
page.extract(prompt, schema)从页面提取结构化数据,可选 JSON schema
page.validate(prompt)验证页面状态,返回 bool(例如“检查用户是否已登录”)
page.prompt(prompt, schema)向 LLM 发送任意提示,可选响应 schema

此外,page.agent 提供更高级的工作流命令:

命令描述
page.agent.run_task(prompt)执行复杂的多步骤任务
page.agent.login(credential_type, credential_id)使用存储的凭据进行身份验证(Skyvern、Bitwarden、1Password)
page.agent.download_files(prompt)导航并下载文件
page.agent.run_workflow(workflow_id)执行预构建的工作流

AI 增强的 Playwright 操作

所有标准 Playwright 操作都支持可选的 prompt 参数,用于 AI 驱动的元素定位:

操作PlaywrightAI 增强
点击page.click("#btn")page.click(prompt="Click login button")
填充page.fill("#email", "[email protected]")page.fill(prompt="Email field", value="[email protected]")
选择page.select_option("#country", "US")page.select_option(prompt="Country dropdown", value="US")
上传page.upload_file("#file", "doc.pdf")page.upload_file(prompt="Upload area", files="doc.pdf")

三种交互模式:

# 1. Traditional Playwright - CSS/XPath selectors
await page.click("#submit-button")

# 2. AI-powered - natural language
await page.click(prompt="Click the green Submit button")

# 3. AI fallback - tries selector first, falls back to AI if it fails
await page.click("#submit-btn", prompt="Click the Submit button")

核心 AI 命令 - 示例

# act - Perform actions using natural language
await page.act("Click the login button and wait for the dashboard to load")

# extract - Extract structured data with optional JSON schema
result = await page.extract("Get the product name and price")
result = await page.extract(
    prompt="Extract order details",
    schema={"order_id": "string", "total": "number", "items": "array"}
)

分类