Apache Dolphinscheduler

概要

Apache DolphinSchedulerは、アジャイルでローコードな高性能ワークフロー開発を実現する最新のデータオーケストレーションプラットフォームです。データパイプラインにおける複雑なタスク依存関係の処理に特化しており、豊富な組み込みジョブタイプをすぐに利用可能な状態で提供します。

DolphinSchedulerの主な特徴は次のとおりです。

• デプロイが容易: Standalone、Cluster、Docker、Kubernetesの4つのデプロイモードを提供します。
• 使いやすい: Web UI、Python SDK、またはOpen APIを介してワークフローを作成および管理できます。
• 高い信頼性と可用性: 分散型のマルチマスター・マルチワーカーアーキテクチャを採用し、ネイティブで水平スケーリングをサポートします。
• 高性能: 他のオーケストレーションプラットフォームよりも数倍高速で、1日あたり数千万のタスクを処理できます。
• クラウドネイティブ: 複数のクラウドやデータセンターにまたがるワークフローのオーケストレーションをサポートし、カスタムタスクタイプが可能です。
• ワークフローのバージョニング: ワークフローと個々のワークフローインスタンス（タスクを含む）のバージョン管理を提供します。
• ワークフローとタスクの柔軟な状態制御: いつでも一時停止・停止・復旧をサポートします。
• マルチテナンシーのサポート
• その他の機能: バックフィルサポート（Web UIネイティブ）、プロジェクトやデータソースを含む権限制御など。

クイックスタート

• クイック体験
  • スタンドアロンで開始する
  • Dockerで開始する
• Kubernetes
  • Kubernetesで開始する
• Terraform
  • Terraformで開始する

ユーザーインターフェースのスクリーンショット

• ホームページ: 最新のワークフローインスタンスとタスクインスタンスのステータス統計を含む、プロジェクトとワークフローの概要。

• ワークフロー定義: ドラッグ＆ドロップでワークフローを作成・管理でき、複雑なワークフローの構築と保守が容易です。すぐに利用可能な多種多様なタスクをサポートしています。

• ワークフローツリービュー: 抽象ツリー構造により、タスクの関係をより明確に理解できます。

• データソース: 複数の外部データソースをサポートし、MySQL、PostgreSQL、Hive、Trinoなどに対して統一されたデータアクセス機能を提供します。

• モニター: マスター、ワーカー、データベースのステータスをリアルタイムで表示し、サーバーリソースの使用状況や負荷を含め、サーバーにログインしなくても簡単にヘルスチェックができます。

提案とバグ報告

このガイドに従って、提案やバグを報告してください。

コントリビューション

コミュニティはすべての皆様からのコントリビューションを歓迎します。詳細については、こちらのページをご参照ください：コントリビューション方法。 DolphinSchedulerが初めての方は、こちらのGood First Issueをチェックしてください。

コミュニティ

以下の方法でApache DolphinSchedulerコミュニティに参加してください：

• DolphinScheduler Slackに参加してコミュニティとつながりましょう
• DolphinScheduler Twitterをフォローして最新情報を入手しましょう
• DolphinSchedulerメーリングリストに登録する：ユーザー向けは[email protected]、開発者向けは[email protected]

ランドスケープ

  

DolphinSchedulerは、CNCF CLOUD NATIVE Landscapeを強化します。