Apache Dolphinscheduler

概要

Apache DolphinSchedulerは、アジャイルでローコードな高性能ワークフローの開発を可能にする最新のデータオーケストレーションプラットフォームです。データパイプライン内の複雑なタスク依存関係の処理に特化しており、すぐに使用できる多彩な組み込みジョブタイプを提供します。

DolphinSchedulerの主な特徴は以下の通りです。

• デプロイが容易で、Standalone、Cluster、Docker、Kubernetesを含む4つのデプロイモードを提供します。
• 使いやすく、ワークフローはWeb UI、Python SDK、またはOpen APIを介して作成および管理できます。
• 高い信頼性と高可用性を備え、分散型のマルチマスター・マルチワーカーアーキテクチャと水平スケーリングのネイティブサポートを提供します。
• 高性能で、そのパフォーマンスは他のオーケストレーションプラットフォームよりも数倍高速であり、1日あたり数千万のタスクを処理できます。
• クラウドネイティブ対応で、DolphinSchedulerは複数のクラウドやデータセンターにまたがるワークフローのオーケストレーションをサポートし、カスタムタスクタイプを許可します。
• ワークフローのバージョン管理により、ワークフローと個々のワークフローインスタンス（タスクを含む）の両方に対してバージョン管理を提供します。
• ワークフローとタスクの柔軟な状態制御を備え、いつでも一時停止/停止/復旧をサポートします。
• マルチテナンシーのサポート
• その他の機能として、バックフィルサポート（Web UIネイティブ）、プロジェクトやデータソースを含む権限制御など。

クイックスタート

• クイック体験の場合
  • スタンドアロンで始める をご希望の場合
  • Dockerで始める をご希望の場合
• Kubernetesの場合
  • Kubernetesで始める
• Terraformの場合
  • Terraformで始める

ユーザーインターフェースのスクリーンショット

• ホームページ: プロジェクトとワークフローの概要。最新のワークフローインスタンスとタスクインスタンスのステータス統計を含みます。

• ワークフロー定義: ドラッグアンドドロップでワークフローを作成・管理。複雑なワークフローの構築と保守が容易で、多種多様なタスク をすぐに使用できます。

• ワークフローツリービュー: 抽象的なツリー構造により、タスクの関係をより明確に理解できます。

• データソース: 複数の外部データソースをサポートし、MySQL、PostgreSQL、Hive、Trinoなどに対して統一されたデータアクセス機能を提供します。

• モニター: マスター、ワーカー、データベースのステータスをリアルタイムで表示。サーバーのリソース使用状況と負荷を含み、サーバーにログインせずに簡単なヘルスチェックが可能です。

提案・バグ報告

提案やバグを報告するには、このガイド に従ってください。

貢献

コミュニティは皆さんのコントリビューションを歓迎します。詳細については、コントリビューション方法 のページをご参照ください。DolphinSchedulerが初めての方は、こちら のGood First Issueをご覧ください。

コミュニティ

以下の方法でApache DolphinSchedulerコミュニティに参加してください。

• DolphinScheduler Slack に参加してコミュニティと連絡を取り合いましょう
• DolphinScheduler Twitter をフォローして最新情報を入手しましょう
• DolphinSchedulerのメーリングリストを購読する: ユーザー向け [email protected]、開発者向け [email protected]

Landscapes

  

DolphinSchedulerは、CNCF CLOUD NATIVE Landscapeを豊かにします。