
skyvern v1.0.55
ブラウザベースのワークフローをAIで自動化する
🐉 LLMとコンピュータビジョンを使ってブラウザベースのワークフローを自動化 🐉
Skyvern は、LLMとコンピュータビジョンを使ってブラウザベースのワークフローを自動化します。Playwrightと互換性のあるSDKを提供しており、Playwrightの上にAI機能を追加できます。また、ノーコードのワークフロービルダーも備えており、技術者・非技術者を問わず、あらゆるウェブサイト上の手作業のワークフローを自動化できるため、壊れやすく信頼性の低い自動化ソリューションに取って代わります。
従来のブラウザ自動化のアプローチでは、ウェブサイトごとにカスタムスクリプトを書く必要があり、DOM解析やXPathベースの操作に依存することが多く、ウェブサイトのレイアウトが変わるたびに壊れてしまうのが常でした。
コードで定義されたXPath操作だけに頼るのではなく、SkyvernはVision LLMを活用してウェブサイトを学習し、操作します。
仕組み
Skyvernは、BabyAGI や AutoGPT によって広まったタスク駆動型の自律エージェント設計に着想を得ています。さらに大きな利点として、Playwright のようなブラウザ自動化ライブラリを使ってウェブサイトを操作する能力をSkyvernに与えています。
Skyvernはエージェントの群れ(swarm)を使ってウェブサイトを理解し、そのアクションを計画・実行します:
このアプローチにはいくつかの利点があります:
- Skyvernは、カスタムコードを一切必要とせずに、視覚要素をワークフローの完了に必要なアクションにマッピングできるため、これまで見たことのないウェブサイトでも動作できます
- Skyvernは、ナビゲーション時にシステムが探す事前定義されたXPathやその他のセレクタが存在しないため、ウェブサイトのレイアウト変更に強いです
- Skyvernは、ワークフローの完了に必要なインタラクションを推論できるため、単一のワークフローを多数のウェブサイトに適用できます 詳細な技術レポートはこちらでご覧いただけます。
デモ
https://github.com/user-attachments/assets/5cab4668-e8e2-4982-8551-aab05ff73a7f
クイックスタート
Skyvern Cloud
Skyvern Cloud は、Skyvernのマネージドクラウド版であり、インフラを気にすることなくSkyvernを実行できます。複数のSkyvernインスタンスを並列で実行でき、ボット検出対策、プロキシネットワーク、CAPTCHAソルバーがバンドルされています。
試してみたい場合は、app.skyvern.com にアクセスしてアカウントを作成してください。
ローカルで実行する (UI + サーバー)
希望するセットアップ方法を選択してください:
データベースのデフォルト:
skyvern quickstartとskyvern run serverはデフォルトで~/.skyvern/data.dbにある SQLite データベースを使用するため、pip 経由の手順は Postgres や Docker なしで動作します。代わりに Postgres を使用するには、既存のデータベースに対して--database-stringを渡すか (--no-postgresを省略してquickstartが独自の Postgres コンテナを起動するように) してください。Docker Compose は常に同梱の Postgres サービスを使用します。
オプション A: pip install (Python で管理するローカルセットアップに推奨)
必要な依存関係:
さらに Windows の場合:
- Rust
- C++ 開発ツールと Windows SDK を備えた VS Code
1. Skyvern をインストールする
pip install "skyvern[server]"
server エクストラはローカル API サーバーをインストールします。これなしで pip install skyvern を実行すると、クライアント SDK のみがインストールされます。pip パッケージには Web UI は含まれていません。UI を利用するには、Docker Compose またはソースチェックアウトを使用してください。
2. Skyvern を実行する
skyvern quickstart
pip クイックスタートはデフォルトで SQLite を使用します。代わりにローカルの Postgres コンテナを使用するには、skyvern quickstart を実行します(--no-postgres を渡さない限り Postgres コンテナが起動します)。または、--database-string=postgresql+psycopg://user:pass@host:5432/dbname で既存のデータベースに接続します。
オプション B: Docker Compose
すべてをコンテナ化(Postgres、API、UI)し、Python/Node をローカルにインストールしたくない場合は、このオプションを使用します。
- Docker Desktop をインストールします
- リポジトリをクローンします:
git clone https://github.com/skyvern-ai/skyvern.git && cd skyvern .envで LLM プロバイダーを設定します(下記のquickstart --docker-composeコマンドは、.envが存在しない場合に.env.exampleから作成します):cp .env.example .env # if not already created # edit .env to add your LLM API key- すべてを起動します:
docker compose up -d - http://localhost:8080 を開く
トラブルシューティング
(sqlite3.OperationalError) table organizations already exists — pip install skyvern==1.0.31 の既知のバグに遭遇しました。修正方法:
rm ~/.skyvern/data.db # remove the leftover SQLite file
pip install --upgrade skyvern # 1.0.32+ contains the fix
skyvern quickstart
1.0.31 のままでアップグレードできない場合は、代わりに uv 経由でインストールしてください:
uv pip install skyvern
pip install skyvern が ResolutionImpossible (litellm / fastmcp) で失敗する — 1.0.31 で依存関係の解決競合が発生します。1.0.32+ にアップグレードするか、uv を使用してください: uv pip install skyvern。
SDK
Skyvern は AI を活用したブラウザ自動化を追加する Playwright 拡張です。 Playwright の全機能に加えて AI 機能を提供し、自然言語プロンプトを使って要素と対話したり、データを抽出したり、複雑な多段階ワークフローを自動化したりできます。
インストール:
- Python SDK / クラウド API:
pip install skyvern - ブラウザおよびページコマンド(
Skyvern.local()を含む)を備えた Python SDK:pip install "skyvern[local]" - ローカル API サーバー:
pip install "skyvern[server]"を実行してからskyvern quickstartを実行 - 独自の Postgres を使用するローカル API サーバー:
pip install "skyvern[server]"を実行してからskyvern quickstart --database-string=postgresql+psycopg://user:pass@host:5432/dbnameを実行 - Web UI: pip パッケージには含まれていません。Docker Compose を使用するか、ソースチェックアウトから
skyvern run uiを実行してください。 - TypeScript:
npm install @skyvern/client
AI を活用したページコマンド
Skyvern はページオブジェクトに直接 4 つのコア AI コマンドを追加します:
| コマンド | 説明 |
|---|---|
page.act(prompt) | 自然言語を使用してアクションを実行(例: 「ログインボタンをクリック」) |
page.extract(prompt, schema) | オプションの JSON スキーマを使用してページから構造化データを抽出 |
page.validate(prompt) | ページの状態を検証し、bool を返す(例: 「ユーザーがログインしているか確認」) |
page.prompt(prompt, schema) | オプションのレスポンススキーマを使用して任意のプロンプトを LLM に送信 |
さらに、page.agent は高レベルのワークフローコマンドを提供します:
| コマンド | 説明 |
|---|---|
page.agent.run_task(prompt) | 複雑な多段階タスクを実行 |
page.agent.login(credential_type, credential_id) | 保存された認証情報(Skyvern、Bitwarden、1Password)で認証 |
page.agent.download_files(prompt) | ナビゲートしてファイルをダウンロード |
page.agent.run_workflow(workflow_id) | 事前に構築されたワークフローを実行 |
AI で拡張された Playwright アクション
すべての標準 Playwright アクションは、AI を活用した要素の特定のためのオプションの prompt パラメータをサポートしています: