Официальный сайт Dolphin Scheduler dolphinscheduler.apache.org

Особенности дизайна

DolphinScheduler — это распределённая и расширяемая платформа для планирования рабочих процессов с мощным визуальным интерфейсом DAG, предназначенная для решения сложных зависимостей задач в конвейере данных и предоставляющая различные типы задач «из коробки».

Её основные цели:

• Связывать задачи в соответствии с их зависимостями в виде DAG-графа, позволяя в реальном времени визуализировать состояние выполнения задачи.
• Поддерживать различные типы задач: Shell, MR, Spark, SQL (MySQL, PostgreSQL, hive, spark SQL), Python, Sub_Process, Procedure и др.
• Поддерживать планирование рабочих процессов и зависимостей, ручное планирование для приостановки/остановки/восстановления задачи, повторный запуск/оповещение при сбое задачи, восстановление с указанных узлов после сбоя, принудительное завершение задачи и т.д.
• Поддерживать приоритеты рабочих процессов и задач, переключение задач при сбое, а также тайм-аут задачи с оповещением или сбоем.
• Поддерживать глобальные параметры рабочего процесса и настраиваемые параметры узлов.
• Поддерживать онлайн-загрузку/скачивание/управление файлами ресурсов и т.д. Поддерживать онлайн-создание и редактирование файлов.
• Поддерживать онлайн-просмотр и прокрутку логов задач, а также их скачивание.
• Реализовать кластерную HA, децентрализовав мастер-кластер и воркер-кластер через Zookeeper.
• Поддерживать просмотр загрузки CPU, памяти и показателей использования CPU мастеров/воркеров.
• Поддерживать отображение истории рабочего процесса в виде дерева/диаграммы Ганта, а также статистический анализ статусов задач и процессов в каждом рабочем процессе.
• Поддерживать обратное заполнение данных (back-filling).
• Поддерживать мультитенантность.
• Поддерживать интернационализацию.
• Ещё больше возможностей ждут вас...

Что есть в DolphinScheduler

Скриншоты пользовательского интерфейса

Быстрый старт в Docker

Пожалуйста, обратитесь к официальной документации: QuickStart in Docker

Быстрый старт в Kubernetes

Пожалуйста, обратитесь к официальной документации: QuickStart in Kubernetes

Как собрать

./mvnw clean install -Prelease

Артефакты:

dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-bin.tar.gz: Бинарный пакет DolphinScheduler
dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-src.tar.gz: Исходный пакет DolphinScheduler

Благодарности

DolphinScheduler основан на множестве отличных проектов с открытым исходным кодом, таких как Google guava, guice, grpc, netty, quartz и многих открытых проектах Apache и т.д. Мы хотим выразить глубокую благодарность всем проектам с открытым исходным кодом, используемым в Dolphin Scheduler. Мы надеемся, что являемся не только бенефициарами open-source, но и вносим свой вклад в сообщество. Кроме того, мы надеемся, что каждый, кто разделяет энтузиазм и страсть к открытому исходному коду, присоединится и внесёт вклад в сообщество открытого кода!

Получить помощь

1. Отправьте issue
2. Подпишитесь на этот список рассылки: https://dolphinscheduler.apache.org/en-us/community/development/subscribe.html, затем напишите на [email protected]

Сообщество

Мы приветствуем общение с разработчиками и пользователями Dolphin Scheduler. Есть два способа связаться с ними:

1. Присоединиться к каналу Slack по ссылке-приглашению.
2. Подписаться на Twitter-аккаунт DolphinScheduler, чтобы своевременно получать последние новости.

Участники с течением времени

Как внести вклад

Сообщество приветствует всех желающих внести вклад; пожалуйста, ознакомьтесь с этой страницей для получения дополнительной информации: How to contribute.

Лицензия

Пожалуйста, обратитесь к файлу LICENSE.