Apache Dolphinscheduler

О проекте

Apache DolphinScheduler — это современная платформа оркестрации данных, которая обеспечивает гибкую low-code разработку высокопроизводительных рабочих процессов. Она предназначена для обработки сложных зависимостей задач в конвейерах данных и предоставляет широкий набор встроенных типов заданий из коробки.

Основные возможности DolphinScheduler:

• Простота развертывания: предоставляет четыре режима развертывания, включая Standalone, Cluster, Docker и Kubernetes.
• Простота использования: рабочие процессы можно создавать и управлять ими через веб-интерфейс, Python SDK или Open API.
• Высокая надежность и доступность: децентрализованная архитектура с несколькими мастерами и воркерами, а также встроенная поддержка горизонтального масштабирования.
• Высокая производительность: в несколько раз быстрее других платформ оркестрации и способна обрабатывать десятки миллионов задач в день.
• Cloud Native: DolphinScheduler поддерживает оркестрацию рабочих процессов в нескольких облаках и центрах обработки данных, а также позволяет создавать пользовательские типы задач.
• Версионирование рабочих процессов: обеспечивает контроль версий как для рабочих процессов, так и для отдельных экземпляров рабочих процессов, включая задачи.
• Гибкий контроль состояния рабочих процессов и задач: поддерживает приостановку/остановку/восстановление в любое время.
• Поддержка мультитенантности.
• Дополнительные возможности: поддержка backfill (нативно в веб-интерфейсе), контроль прав доступа, включая проекты и источники данных, и т.д.

Быстрый старт

• Для быстрого знакомства
  • Хотите начать с standalone
  • Хотите начать с Docker
• Для Kubernetes
  • Начало работы с Kubernetes
• Для Terraform
  • Начало работы с Terraform

Скриншоты пользовательского интерфейса

• Главная страница: обзор проектов и рабочих процессов, включая статистику последних экземпляров рабочих процессов и задач.

• Определение рабочего процесса: создавайте рабочие процессы и управляйте ими с помощью перетаскивания, что упрощает построение и обслуживание сложных рабочих процессов; поддерживается широкий спектр задач из коробки.

• Древовидное представление рабочего процесса: абстрактная древовидная структура обеспечивает более четкое понимание взаимосвязей задач.

• Источники данных: поддержка множества внешних источников данных, предоставляет унифицированные возможности доступа к данным для MySQL, PostgreSQL, Hive, Trino и др.

• Мониторинг: просматривайте состояние мастера, воркера и базы данных в реальном времени, включая использование ресурсов сервера и нагрузку; выполняйте быструю проверку работоспособности без входа на сервер.

Предложения и сообщения об ошибках

Следуйте этому руководству, чтобы сообщить о своих предложениях или ошибках.

Участие в разработке

Сообщество приветствует вклад от всех. Пожалуйста, обратитесь к этой странице, чтобы узнать подробнее: Как внести вклад. Если вы новичок в DolphinScheduler, посмотрите good first issue здесь.

Сообщество

Добро пожаловать в сообщество Apache DolphinScheduler:

• Присоединяйтесь к Slack-каналу DolphinScheduler, чтобы оставаться на связи с сообществом
• Подпишитесь на Twitter DolphinScheduler и получайте последние новости
• Подпишитесь на список рассылки DolphinScheduler: [email protected] для пользователей и [email protected] для разработчиков

Ландшафты

  

DolphinScheduler обогащает ландшафт CNCF Cloud Native.