Apache Dolphinscheduler

О проекте

Apache DolphinScheduler — это современная платформа оркестрации данных, которая обеспечивает гибкую, low-code разработку высокопроизводительных рабочих процессов. Она предназначена для обработки сложных зависимостей задач в конвейерах данных и предоставляет широкий спектр встроенных типов задач из коробки.

Ключевые особенности DolphinScheduler:

• Простота развертывания: предоставляет четыре режима развертывания, включая Standalone, Cluster, Docker и Kubernetes.
• Простота использования: рабочие процессы можно создавать и управлять ими через веб-интерфейс, Python SDK или Open API.
• Высокая надежность и доступность: децентрализованная архитектура с несколькими мастерами и рабочими узлами, встроенная поддержка горизонтального масштабирования.
• Высокая производительность: в несколько раз быстрее других платформ оркестрации, способна обрабатывать десятки миллионов задач в день.
• Облачная нативность: DolphinScheduler поддерживает оркестрацию рабочих процессов в нескольких облаках и центрах обработки данных, а также позволяет создавать пользовательские типы задач.
• Версионирование рабочих процессов: обеспечивает контроль версий как для рабочих процессов, так и для отдельных экземпляров, включая задачи.
• Гибкий контроль состояния рабочих процессов и задач: поддерживает приостановку/остановку/восстановление в любое время.
• Поддержка многопользовательского режима (multi-tenancy).
• Дополнительные возможности: поддержка обратного заполнения (backfill, встроено в веб-интерфейс), контроль разрешений, включая проекты и источники данных и т.д.

Быстрый старт

• Для быстрого ознакомления:
  • Хотите начать со Standalone
  • Хотите начать с Docker
• Для Kubernetes:
  • Начать с Kubernetes
• Для Terraform:
  • Начать с Terraform

Скриншоты пользовательского интерфейса

• Главная страница: Обзор проектов и рабочих процессов, включая статистику последних экземпляров рабочих процессов и задач.

• Определение рабочего процесса: Создание и управление рабочими процессами с помощью перетаскивания, легко строить и поддерживать сложные рабочие процессы, поддерживает широкий спектр задач из коробки.

• Древовидное представление рабочего процесса: Абстрактная древовидная структура позволяет лучше понять взаимосвязи задач.

• Источник данных: Поддерживает множество внешних источников данных, предоставляет унифицированный доступ к данным для MySQL, PostgreSQL, Hive, Trino и т.д.

• Мониторинг: Просмотр состояния мастера, рабочего узла и базы данных в реальном времени, включая использование ресурсов сервера и нагрузку, быстрая проверка работоспособности без входа на сервер.

Предложения и сообщения об ошибках

Следуйте этому руководству, чтобы сообщить о предложениях или ошибках.

Вклад в проект

Сообщество приветствует вклад от всех. Пожалуйста, обратитесь к этой странице для получения дополнительной информации: Как внести вклад. Посмотрите «good first issue» здесь, если вы новичок в DolphinScheduler.

Сообщество

Добро пожаловать в сообщество Apache DolphinScheduler, присоединиться можно следующим образом:

• Присоединяйтесь к Slack-каналу DolphinScheduler, чтобы оставаться на связи с сообществом
• Подпишитесь на Twitter DolphinScheduler и получайте последние новости
• Подпишитесь на почтовые списки DolphinScheduler: [email protected] для пользователей и [email protected] для разработчиков

Landscapes

  

DolphinScheduler дополняет CNCF CLOUD NATIVE Landscape.