Dolphin Scheduler 公式サイト dolphinscheduler.apache.org

設計の特徴

DolphinScheduler は、強力な DAG ビジュアルインターフェースを備えた、分散型で拡張可能なワークフロースケジューラプラットフォームです。データパイプラインにおける複雑なジョブ依存関係の解決に特化し、out of the box ですぐに利用できるさまざまなタイプのジョブを提供します。

その主な目的は以下のとおりです。

DAG グラフ内のタスクの依存関係に従ってタスクを関連付け、タスクの実行状態をリアルタイムで可視化できます。
Shell、MR、Spark、SQL（MySQL、PostgreSQL、hive、spark SQL）、Python、Sub_Process、Procedure など、さまざまなタスクタイプをサポートします。
ワークフローと依存関係のスケジューリング、手動スケジューリングによるタスクの一時停止・停止・復旧、失敗タスクの再試行・アラーム、指定ノードの障害時リカバリ、タスクの強制終了などをサポートします。
ワークフローとタスクの優先度、タスクフェイルオーバー、タスクタイムアウト時のアラームまたは失敗をサポートします。
ワークフローのグローバルパラメータとノードごとのカスタムパラメータ設定をサポートします。
リソースファイルのオンラインアップロード・ダウンロード・管理などをサポートします。オンラインでのファイル作成・編集もサポートします。
タスクログのオンライン表示・スクロール・ダウンロードなどをサポートします。
クラスタ HA を実装し、Zookeeper を通じて Master クラスタと Worker クラスタを分散化します。
Master/Worker の CPU 負荷、メモリ、CPU 使用率のメトリクス表示をサポートします。
ワークフロー履歴のツリー/ガントチャート表示に加え、各ワークフロー内のタスクステータスとプロセスステータスの統計分析をサポートします。
データのバックフィルをサポートします。
マルチテナントをサポートします。
国際化をサポートします。
さらに多くの機能が皆さんの探索を待っています...

DolphinScheduler の特長

ユーザーインターフェースのスクリーンショット

ホームページ DAG プロセス定義一覧ページタスクログのオンライン表示リソース管理モニターセキュリティツリービュー

Docker でのクイックスタート

公式ウェブサイトのドキュメントを参照してください：Docker でのクイックスタート

Kubernetes でのクイックスタート

公式ウェブサイトのドキュメントを参照してください：Kubernetes でのクイックスタート

ビルド方法

./mvnw clean install -Prelease

アーティファクト：

dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-bin.tar.gz: Binary package of DolphinScheduler
dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-src.tar.gz: Source code package of DolphinScheduler

謝辞

DolphinScheduler は、Google guava、guice、grpc、netty、quartz など、数多くの優れたオープンソースプロジェクトや Apache の多くのオープンソースプロジェクトに基づいています。

Dolphin Scheduler で使用されているすべてのオープンソースプロジェクトに深く感謝いたします。私たちはオープンソースの受益者であるだけでなく、コミュニティに還元していきたいと考えています。また、オープンソースに同じ熱意と情熱を持つすべての人が、オープンソースコミュニティに参加し貢献してくれることを願っています！

ヘルプ

issue を提出してください
このメーリングリストに登録してください：https://dolphinscheduler.apache.org/en-us/community/development/subscribe.html その後、[email protected] にメールを送信してください

コミュニティ

Dolphin Scheduler の開発者やユーザーとの交流を心から歓迎します。連絡方法は次の 2 つです：

こちらの招待リンクから Slack チャンネルに参加してください。
DolphinScheduler の Twitter アカウントをフォローして、最新情報をタイムリーに入手してください。

コントリビューターの推移

コントリビューション方法

コミュニティはすべての人の貢献を歓迎します。詳細はこちらのページを参照してください：コントリビューション方法

ライセンス

LICENSE ファイルを参照してください。

分散型マルチマスター・マルチワーカー	タスクステータス、タスクタイプ、再試行回数、タスク実行マシン情報、可視化変数など、ワークフローの主要情報をひと目で確認できます。	一時停止・復旧操作をサポート	カスタマイズされたタスクタイプをサポート
HA サポート	すべてのワークフロー操作を可視化し、タスクをドラッグして DAG を作成し、データソースとリソースを設定できます。同時に、サードパーティシステム向けに API モードの操作も提供します。	DolphinScheduler のユーザーは、テナントと Hadoop ユーザーを通じて多対一または一対一のマッピング関係を実現できます。これは大規模データジョブのスケジューリングにとって非常に重要です。	スケジューラーは分散スケジューリングをサポートし、クラスタの規模に応じて全体のスケジューリング能力は線形に向上します。Master と Worker は動的調整をサポートします。
過負荷処理：タスクキューメカニズムにより、単一マシン上でスケジュール可能なタスク数を柔軟に設定できます。タスクキューにキャッシュされた多数のタスクに対して高い耐性を持ち、マシンの詰まりを回避できます。	ワンクリックデプロイ	従来の Shell タスクとビッグデータプラットフォームのタスクスケジューリングをサポート：MR、Spark、SQL（MySQL、PostgreSQL、hive、spark SQL）、Python、Procedure、Sub_Process

apache__dolphinscheduler_CVE-2022-34662_2-0-9

人気