Apache Dolphinscheduler

О проекте

Apache DolphinScheduler — это современная платформа оркестрации данных. Она позволяет быстро создавать высокопроизводительные рабочие процессы с помощью low-code. Также предоставляется мощный пользовательский интерфейс, предназначенный для решения сложных зависимостей задач в конвейере данных и предоставляющий различные типы заданий из коробки.

Ключевые особенности DolphinScheduler:

• Простота развертывания: предоставлены четыре способа развертывания, включая Standalone, Cluster, Docker и Kubernetes.
• Простота использования: рабочие процессы можно создавать и управлять ими четырьмя способами: через веб-интерфейс, Python SDK, YAML-файл и Open API.
• Высокая надежность и отказоустойчивость: децентрализованная архитектура с несколькими master и worker, нативная поддержка горизонтального масштабирования.
• Высокая производительность: в N раз быстрее других платформ оркестрации, поддерживает десятки миллионов задач в день.
• Облачная среда: DolphinScheduler поддерживает оркестрацию рабочих процессов в мультиоблачных/мультидата-центрах, а также пользовательские типы задач.
• Версионирование как рабочих процессов, так и их экземпляров (включая задачи).
• Различные состояния управления рабочими процессами и задачами: поддержка приостановки/остановки/восстановления в любое время.
• Поддержка мультиарендности.
• Другие возможности: поддержка обратного заполнения (из коробки в веб-интерфейсе), управление доступом к проектам, ресурсам и источникам данных.

Быстрый старт

• Для быстрого ознакомления:
  • Запустить в режиме Standalone
  • Запустить с помощью Docker
• Для Kubernetes:
  • Запустить с помощью Kubernetes
• Для Terraform:
  • Запустить с помощью Terraform

Скриншоты пользовательского интерфейса

• Главная страница: Обзор проектов и рабочих процессов, включая статистику последних экземпляров рабочих процессов и задач.

• Определение рабочего процесса: Создание и управление рабочими процессами методом перетаскивания, простота построения и поддержки сложных процессов, поддержка множества задач из коробки.

• Древовидное представление рабочего процесса: Абстрактная древовидная структура позволяет лучше понять взаимосвязь между задачами.

• Источники данных: Управление и поддержка множества внешних источников данных, предоставление унифицированного доступа к данным, таким как MySQL, PostgreSQL, Hive, Trino и другим.

• Мониторинг: Просмотр состояния master, worker и базы данных в реальном времени, включая использование ресурсов и нагрузку серверов, быстрая проверка работоспособности без входа на сервер.

Предложения и сообщения об ошибках

Следуйте этому руководству, чтобы сообщить о своих предложениях или ошибках.

Участие в разработке

Сообщество приветствует любой вклад. Пожалуйста, обратитесь к этой странице, чтобы узнать больше: Как внести вклад, найдите первую задачу для новичков здесь, если вы новичок в DolphinScheduler.

Сообщество

Присоединяйтесь к сообществу Apache DolphinScheduler:

• Вступите в Slack DolphinScheduler, чтобы оставаться на связи с сообществом.
• Подпишитесь на Twitter DolphinScheduler и узнавайте последние новости.
• Подпишитесь на почтовые списки DolphinScheduler: [email protected] для пользователей и [email protected] для разработчиков.

Ландшафты

  

DolphinScheduler обогащает ландшафт CNCF Cloud Native.