artemis

AIアシスタントとテストスイートが、人間のように実機のスマートフォンを操作できるようにします。

English • 中文文档 • ワークフローショーケース • クイックスタート • IDE向けMCP • ベンチマーク • Discordコミュニティ

ライブデモ: Google Mapsでルートを設定して合計所要時間を計算し、その後YouTubeを開いてColdplayの曲を再生します。

主なハイライト

• クロスアプリ自動化: 自然言語の指示からAndroid上でテストワークフローや日常タスクを実行します。
• マルチモーダルターゲティング: 利用可能な場合は要素インデックスを使用し、カスタムインターフェース向けに座標および視覚的な位置特定のフォールバックを備えています。
• IDE診断: Model Context Protocol (MCP) 統合により、Antigravity、Claude Code、Windsurf がテストデバイスを操作し、Logcat 出力とスクリーンショットを収集できます。
• フラッシュ実行: 非同期の履歴サマリーを備えたリアクティブな観察・行動ループで、通常 1ステップあたり3〜5秒 です。
• プロ探索: 個々のアクションの前にターゲットを確認し、ブロックされたアクションをOperatorに返してリカバリします。長時間実行される探索テストや安定性テストをサポートします。
• AndroidWorldの結果: Google Researchの AndroidWorld ベンチマーク(100以上のマルチステップタスク)で 99%以上のタスク完了率 を達成。

Antigravity × ARTEMIS: 自律テストワークフロー

Antigravity はMCPを通じて ARTEMIS を使用し、テスト要求を計画、デバイス実行、診断レポートへと変換します:

クイックスタート

Androidデバイス(USBデバッグ を有効化)またはエミュレータが接続されていることを確認してください。ワンクリック起動スクリプトが自動的に以下を実行します:

• システムツールチェーンのインストール: ADB、scrcpy、FFmpeg、Python(uv)の依存関係を検出して自動インストールします。
• グローバルMCPサーバーとAIエージェントルールのマウント: グローバルMCP設定と Artemis Mobile Testing Mindset(rules.md) をAI IDE(Antigravity、Cursor、Claude Code、Codex、Windsurf、VS Code、Cline/Roo、OpenClaw)に自動インストールするか確認します。

macOS と Linux

# 1. Clone repo & navigate to directory
git clone https://github.com/google/artemis.git && cd artemis

# 2. One-click launch
./start.sh

Windows PowerShell

# 1. Clone repo & navigate to directory
git clone https://github.com/google/artemis.git
cd artemis

# 2. One-click launch
.\start.bat

PowerShellはデフォルトでは実行可能スクリプトをカレントディレクトリから検索しないため、末尾の \ を付けずに .\start.bat を使用してください。コマンドプロンプト(CMD)では代わりに start.bat を使用してください。

ヒント: デフォルトブラウザで http://localhost:8000 を開き、デバイス接続ウィザード、ライブ画面ミラーリング、プロンプトサンドボックス、実行リプレイを提供します。CLIから直接実行することもできます: uv run artemis run "Open Settings, find Battery and tell me current level" --profile flash。

# Auto-install MCP server & global rules for Antigravity / Jetski:
uv run artemis mcp --install antigravity

# Or install for all supported AI IDEs (including Codex):
uv run artemis mcp --install all

uv add "artemis-client @ git+https://github.com/google/artemis.git#subdirectory=packages/artemis-client"

import asyncio
from artemis_client import ArtemisClient


async def main():
    client = ArtemisClient(
        "http://artemis-host:8000",
        device_serial="emulator-5554",  # optional: target specific device serial
        default_profile="flash",  # "flash" (fast reactive) or "pro" (deep reasoning)
    )

    result = await client.run(
        "Open System Settings, go to 'Battery', verify battery percentage is displayed, and check for any crash dialogs.",
    )

    assert result.succeeded, f"Test failed: {result.error or result.status}"
    print(f"✅ Test Passed! Device: {result.device_serial} | Trace ID: {result.trace_id}")


if __name__ == "__main__":
    asyncio.run(main())

使用モード

_{コンソール概要: ① ビュー切り替え(ホーム / ワークスペース) · ② モデルとリプレイ(Flash/Proステータスと動画リプレイ) · ③ ライブエージェントストリーム(アクション知覚、ターゲット座標、構造化結果) · ④ プロンプトドック(自然言語ディスパッチ) · ⑤ タスクキューとダッシュボード(ライフサイクルと履歴)}

• Webビジュアルテストコンソール(uv run artemis ui): リアルタイム画面投影とインタラクティブパネル。自然言語テストディスパッチ、ライブ推論テレメトリ、アクション軌跡、実行リプレイをサポート。任意のターミナルから uv run artemis restart、uv run artemis stop、uv run artemis status を使用してサーバーライフサイクルをいつでも管理できます。
• MCPサーバー: Antigravity、Claude Code、Windsurf などのMCPクライアントを実機に接続し、バグの再現とテスト実行を行います。
• 開発者CLI(uv run artemis run): 自動テストケース、探索的安定性検査、またはAndroidWorldベンチマークを、高忠実度の構造化ターミナル出力で直接ターミナル実行します。
• Python SDK: 強く型付けされたPydantic構造化出力とアサーションサポートを備え、既存の自動テストフレームワーク(例: pytest)やCI/CDパイプラインに標準Pythonライブラリとして統合できます。

ARTEMISがスマートフォンにインストールするもの

デバイス上の最初のタスクで Artemis Accessibility Helper がインストールされます。これは、UiAutomation接続を占有せずに画面レイアウトを読み取る小さなアクセシビリティサービスです。UiAutomationを使用するツールは、FLAG_DONT_SUPPRESS_ACCESSIBILITY_SERVICES を有効にしない限り、このヘルパーを抑制する可能性があります。折りたたまれた「Artemis test helper is running」通知と、設定 > アクセシビリティの下に新しいエントリが表示されます。どちらもこのヘルパーです。ヘルパーはスマートフォン自体でのみ待ち受け、他のどこにも何も送信しません。

• 事前にインストールする(最初のタスクでの約3秒の遅延を回避): uv run artemis helper install
• 検査する: uv run artemis helper status / uv run artemis doctor
• いつでも削除する: uv run artemis helper uninstall
• 代わりにUIAutomator2を使用する: .env で ARTEMIS_HIERARCHY_BACKEND=uiautomator
• 自動インストールを防ぐ: .env で ARTEMIS_HELPER_AUTO_INSTALL=false

タスクの途中でヘルパーが失敗した場合、ARTEMISはUIAutomator2にフォールバックし、その旨をタスクタイムライン、mobile_manage_task ステータス、および最終レポートで通知します。

ベンチマーク: AndroidWorld(SOTA 99%+)

Artemisは、Google Researchのベンチマークである AndroidWorld(20以上のアプリ、100以上のマルチステップタスク)で 99%以上の完了率 を達成しました。

ARTEMISのアーキテクチャ

• 実行前チェックとアクションバースト: Proは個々のアクションをディスパッチする前に、ライブUIツリーとピクセルに対してターゲットを確認します。アクションバーストは、別のモデルターンを待たずに一時的なコントロールを処理します。
• 要素の位置特定: アクセシビリティ階層とOCRを視覚モデルと組み合わせ、カスタムCanvas、Compose、Flutterインターフェースに対応します。
• 共有履歴圧縮: FlashとProは、古いスクリーンショットを視覚サマリーに置き換え、完了したステップを検索可能な履歴チャンクに圧縮します。コンテキストしきい値が、生のターンを置き換えるタイミングを制御します。

実行プロファイル: Flash 対 Pro

ARTEMISは、異なる自動化要件に合わせた2つの実行プロファイルをサポートしています:

• Flashプロファイル(--profile flash): 高速でトークン効率の良いリアクティブループ(1ステップあたり約3〜5秒)。1つのモデルがライブ画面を観察し、考え、行動します。グラフオーケストレーションはありません。定型的で決定論的なUIタスクに最適です。履歴は上限を設けるのではなく圧縮されるため、ループはデフォルトで無制限です(agent.flash.max_turns、0 = 無制限)。FlashはProセッションのトランスクリプト台帳(セッション相対の T+mm:ss クロック、スクリーンショットは視覚サマリーに折り畳まれ、古いステップは時代ごとにチャンク化され search_history / replay_steps を介してオンデマンドで呼び出し可能)を共有し、video_analyzer を通じてセッション録画を照会できます。一時的なUI(自動フェードするコントロールバー、トースト)は、タップを1つの click_sequence に連結することで処理されます。制限事項: タスク計画やノートなし、実行前のセーフティネットなし、チェックポイント検証や最終レポートなし、ADBシェルなし。
• Proプロファイル(--profile pro): 計画と検証のワークフロー(1ステップあたり約15〜40秒)で、マルチエージェントグラフとして構築されています。Planner はマイルストーンと verify / assert チェック項目を含む生きたMarkdownタスク計画を維持します。Operator はフルツールセット(Explorerグラウンディング — その flash / pro / ティアはプロファイルごとのユーザー設定であり、 の / または で指定され、エージェントが選択することはありません — ノート、履歴呼び出し、動画分析、ADB診断)でそれを実行します。すべての単一アクションは実行前の (XML優先、ピクセルフォールバック)を通過し、マルチアクションの は一時的なUIでのターンレイテンシを打ち負かすために連続して発火します。ブロックまたは失敗したアクションは を開き、後のアクションが成功するまでOperatorのコンテキストに留まるため、リカバリは別個の修復エージェントなしでOperator自身によって処理されます。読み取り専用の は計画チェックポイントを検証し、元の目標に対して終了時最終レビューを実行します(: / (デフォルト)/ / )。計画マイルストーンの編集には助言的なレビューが付きます。100以上のステップの長期的ワークフロー、 モニタリング、およびオプションの書面レポートを処理します。

ロードマップ

• Android Studio統合: ネイティブIDEプラグインとワークフロー統合により、Android Studio内で直接エディタ内デバッグ、テスト記録、自動デバイス制御を可能にします。
• iOSプラットフォーム拡張: マルチモーダル知覚とモバイル自動化をiOSデバイスとシミュレータに拡張します。
• オンデバイス軽量VLM: 低レイテンシでプライバシー優先の自動化のための軽量エッジビジョンモデルによるローカル実行。
• リアルタイム双方向音声インタラクション: リアルタイムの会話制御と割り込み処理を備えた音声駆動タスクディスパッチ。

コミュニティとコントリビューション

コントリビューションを心より歓迎します!

• リポジトリにスターを付けて 更新とリリースをフォロー
• 技術的な議論のために Discordコミュニティ に参加
• Issue を開くか、Pull Request を送信

ライセンス

このプロジェクトは Apache License 2.0 の下でライセンスされています。

このプロジェクトには、Minitap, Inc. によって開発されたソースコードが含まれています。