
skyvern v1.0.55
使用AI自动化基于浏览器的工作流程
🐉 使用 LLM 和计算机视觉自动化基于浏览器的工作流 🐉
Skyvern 使用 LLM 和计算机视觉来自动化基于浏览器的工作流。它提供了一个兼容 Playwright 的 SDK,在 playwright 之上增加了 AI 功能,同时还提供了一个无代码工作流构建器,帮助技术用户和非技术用户自动化任何网站上的手动工作流,取代脆弱或不可靠的自动化解决方案。
传统的浏览器自动化方法需要为网站编写自定义脚本,通常依赖 DOM 解析和基于 XPath 的交互,一旦网站布局发生变化,这些方法就会失效。
Skyvern 不只依赖代码定义的 XPath 交互,而是依靠视觉 LLM 来学习和与网站交互。
工作原理
Skyvern 的灵感来自 BabyAGI 和 AutoGPT 推广的任务驱动自主智能体设计——但有一个重大优势:我们赋予 Skyvern 使用 Playwright 等浏览器自动化库与网站交互的能力。
Skyvern 使用一组智能体来理解网站,并规划和执行其操作:
这种方法有几个优势:
- Skyvern 可以在它从未见过的网站上运行,因为它能够将视觉元素映射到完成工作流所需的操作,无需任何自定义代码
- Skyvern 对网站布局变化具有抵抗力,因为在尝试导航时,我们的系统不会寻找预先确定的 XPath 或其他选择器
- Skyvern 能够将单个工作流应用于大量网站,因为它能够推理出完成工作流所需的交互 详细的技术报告可以在这里找到。
演示
https://github.com/user-attachments/assets/5cab4668-e8e2-4982-8551-aab05ff73a7f
快速开始
Skyvern Cloud
Skyvern Cloud 是 Skyvern 的托管云版本,让你无需担心基础设施即可运行 Skyvern。它允许你并行运行多个 Skyvern 实例,并内置了反机器人检测机制、代理网络和 CAPTCHA 求解器。
如果你想试用,请访问 app.skyvern.com 并创建一个账户。
本地运行(UI + 服务器)
选择你偏好的安装方式:
数据库默认值:
skyvern quickstart和skyvern run server默认使用位于~/.skyvern/data.db的 SQLite 数据库,因此 pip 方式无需 Postgres 或 Docker 即可运行。若要改用 Postgres,请为现有数据库传入--database-string(或省略--no-postgres,让quickstart启动自带的 Postgres 容器)。Docker Compose 始终使用内置的 Postgres 服务。
方式 A:pip 安装(推荐用于由 Python 管理的本地环境)
所需依赖:
此外,在 Windows 上还需要:
- Rust
- 安装了 C++ 开发工具和 Windows SDK 的 VS Code
1. 安装 Skyvern
pip install "skyvern[server]"
server 附加组件会安装本地 API 服务器。不带该附加组件执行 pip install skyvern 只会安装客户端 SDK。pip 包不包含 Web UI;如需使用 UI,请使用 Docker Compose 或源码检出。
2. 运行 Skyvern
skyvern quickstart
pip 快速开始默认使用 SQLite。若要改用本地 Postgres 容器,请运行 skyvern quickstart(除非传入 --no-postgres,否则会启动 Postgres 容器),或使用 --database-string=postgresql+psycopg://user:pass@host:5432/dbname 连接到现有数据库。
选项 B:Docker Compose
如果你希望所有组件都容器化(Postgres、API、UI),并且不想在本地安装 Python/Node,请使用此选项。
- 安装 Docker Desktop
- 克隆仓库:
git clone https://github.com/skyvern-ai/skyvern.git && cd skyvern - 在
.env中配置你的 LLM 提供商(如果缺失,下面的quickstart --docker-compose命令会从.env.example创建它):cp .env.example .env # if not already created # edit .env to add your LLM API key - 启动所有服务:
docker compose up -d - 打开 http://localhost:8080
故障排查
(sqlite3.OperationalError) table organizations already exists — 你遇到了 pip install skyvern==1.0.31 中的一个已知 bug。修复方法:
rm ~/.skyvern/data.db # remove the leftover SQLite file
pip install --upgrade skyvern # 1.0.32+ contains the fix
skyvern quickstart
如果你仍在使用 1.0.31 且无法升级,请改用 uv 安装:
uv pip install skyvern
pip install skyvern 因 ResolutionImpossible 失败(litellm / fastmcp) — 你在 1.0.31 中遇到了依赖解析冲突。请升级到 1.0.32+ 或使用 uv:uv pip install skyvern。
SDK
Skyvern 是一个 Playwright 扩展,增加了 AI 驱动的浏览器自动化能力。 它为你提供 Playwright 的全部能力,并附加 AI 功能——使用自然语言提示与元素交互、提取数据,并自动化复杂的多步骤工作流。
安装:
- Python SDK / 云端 API:
pip install skyvern - 带浏览器和页面命令的 Python SDK,包括
Skyvern.local():pip install "skyvern[local]" - 本地 API 服务器:
pip install "skyvern[server]"然后运行skyvern quickstart - 使用你自己的 Postgres 的本地 API 服务器:
pip install "skyvern[server]"然后运行skyvern quickstart --database-string=postgresql+psycopg://user:pass@host:5432/dbname - Web UI:不包含在 pip 包中。请使用 Docker Compose,或从源码检出运行
skyvern run ui。 - TypeScript:
npm install @skyvern/client
AI 驱动的页面命令
Skyvern 直接在页面对象上增加了四个核心 AI 命令:
| 命令 | 描述 |
|---|---|
page.act(prompt) | 使用自然语言执行操作(例如“点击登录按钮”) |
page.extract(prompt, schema) | 从页面提取结构化数据,可选 JSON schema |
page.validate(prompt) | 验证页面状态,返回 bool(例如“检查用户是否已登录”) |
page.prompt(prompt, schema) | 向 LLM 发送任意提示,可选响应 schema |
此外,page.agent 提供更高级的工作流命令:
| 命令 | 描述 |
|---|---|
page.agent.run_task(prompt) | 执行复杂的多步骤任务 |
page.agent.login(credential_type, credential_id) | 使用存储的凭据进行身份验证(Skyvern、Bitwarden、1Password) |
page.agent.download_files(prompt) | 导航并下载文件 |
page.agent.run_workflow(workflow_id) | 执行预构建的工作流 |
AI 增强的 Playwright 操作
所有标准 Playwright 操作都支持可选的 prompt 参数,用于 AI 驱动的元素定位:
| 操作 | Playwright | AI 增强 |
|---|---|---|
| 点击 | page.click("#btn") | page.click(prompt="Click login button") |
| 填充 | page.fill("#email", "[email protected]") | page.fill(prompt="Email field", value="[email protected]") |
| 选择 | page.select_option("#country", "US") | page.select_option(prompt="Country dropdown", value="US") |
| 上传 | page.upload_file("#file", "doc.pdf") | page.upload_file(prompt="Upload area", files="doc.pdf") |
三种交互模式:
# 1. Traditional Playwright - CSS/XPath selectors
await page.click("#submit-button")
# 2. AI-powered - natural language
await page.click(prompt="Click the green Submit button")
# 3. AI fallback - tries selector first, falls back to AI if it fails
await page.click("#submit-btn", prompt="Click the Submit button")
核心 AI 命令 - 示例
# act - Perform actions using natural language
await page.act("Click the login button and wait for the dashboard to load")
# extract - Extract structured data with optional JSON schema
result = await page.extract("Get the product name and price")
result = await page.extract(
prompt="Extract order details",
schema={"order_id": "string", "total": "number", "items": "array"}
)