Site officiel de Dolphin Scheduler dolphinscheduler.apache.org

Total Lines

Fonctionnalités de conception

DolphinScheduler est une plateforme de planification de workflows distribuée et extensible dotée d'interfaces visuelles DAG puissantes, dédiée à la résolution de dépendances complexes de tâches dans les pipelines de données et fournissant divers types de tâches prêtes à l'emploi.

Ses principaux objectifs sont les suivants :

• Associer les tâches selon leurs dépendances dans un graphe DAG, ce qui permet de visualiser en temps réel l'état d'exécution des tâches.
• Prend en charge plusieurs types de tâches : Shell, MR, Spark, SQL (MySQL, PostgreSQL, Hive, Spark SQL), Python, Sub_Process, Procedure, etc.
• Prend en charge la planification des workflows et des dépendances, la planification manuelle pour suspendre/arrêter/reprendre une tâche, la réexécution/alerte en cas d'échec, la reprise à partir de nœuds spécifiques en cas d'échec, l'arrêt d'une tâche, etc.
• Prend en charge la priorisation des workflows et des tâches, le basculement des tâches et l'alerte ou l'échec en cas de dépassement de délai.
• Prend en charge les paramètres globaux des workflows et les paramètres personnalisés des nœuds.
• Prend en charge le téléchargement/téléchargement/gestion en ligne des fichiers de ressources, etc. Prend en charge la création et l'édition en ligne de fichiers.
• Prend en charge la visualisation en ligne des journaux de tâches, le défilement et le téléchargement, etc.
• Met en œuvre la haute disponibilité (HA) du cluster, décentralise les clusters Master et Worker via Zookeeper.
• Prend en charge l'affichage des métriques de charge CPU, mémoire et utilisation CPU des Master/Worker.
• Prend en charge l'affichage de l'historique des workflows sous forme d'arbre/diagramme de Gantt, ainsi que l'analyse statistique de l'état des tâches et de l'état des processus dans chaque workflow.
• Prend en charge le réapprovisionnement des données (back-filling).
• Prend en charge la multi-location.
• Prend en charge l'internationalisation.
• D'autres fonctionnalités attendent d'être explorées par les contributeurs...

Ce que propose DolphinScheduler

Stabilité	Accessibilité	Fonctionnalités	Extensibilité
Multi-maître et multi-travailleur décentralisés	Visualisation des informations clés du workflow, telles que l'état des tâches, le type de tâche, le nombre de tentatives, les informations sur la machine d'exécution de la tâche, les variables visibles, etc. en un coup d'œil.	Prend en charge les opérations de pause et de reprise	Prend en charge les types de tâches personnalisés
Support de la haute disponibilité	Visualisation de toutes les opérations du workflow, glisser-déposer des tâches pour dessiner des DAG, configuration des sources de données et des ressources. En même temps, pour les systèmes tiers, fournit un mode de fonctionnement via API.	Les utilisateurs de DolphinScheduler peuvent réaliser une relation plusieurs-à-un ou un-à-un via les locataires et les utilisateurs Hadoop, ce qui est très important pour la planification de gros traitements de données.	Le planificateur prend en charge la planification distribuée, et la capacité de planification globale augmente linéairement avec la taille du cluster. Les Master et Worker prennent en charge l'ajustement dynamique.
Traitement de surcharge : grâce au mécanisme de file d'attente des tâches, le nombre de tâches planifiables sur une seule machine peut être configuré de manière flexible. Les blocages de machine peuvent être évités grâce à une grande tolérance au nombre de tâches mises en cache dans la file d'attente.	Déploiement en un clic	Prend en charge les tâches Shell traditionnelles et la planification de tâches sur plateforme Big Data : MR, Spark, SQL (MySQL, PostgreSQL, Hive, Spark SQL), Python, Procedure, Sub_Process

Captures d'écran de l'interface utilisateur

Démarrage rapide avec Docker

Veuillez consulter la documentation officielle : QuickStart in Docker

Démarrage rapide avec Kubernetes

Veuillez consulter la documentation officielle : QuickStart in Kubernetes

Comment construire

./mvnw clean install -Prelease

Artefact :

dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-bin.tar.gz : Paquet binaire de DolphinScheduler
dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-src.tar.gz : Paquet source de DolphinScheduler

Remerciements

DolphinScheduler s'appuie sur de nombreux excellents projets open-source, tels que Google Guava, Guice, gRPC, Netty, Quartz, et de nombreux projets open-source d'Apache, etc. Nous tenons à exprimer notre profonde gratitude à tous les projets open-source utilisés dans Dolphin Scheduler. Nous espérons non seulement être bénéficiaires de l'open-source, mais aussi redonner à la communauté. De plus, nous espérons que toute personne partageant la même passion pour l'open-source pourra rejoindre et contribuer à la communauté open-source !

Obtenir de l'aide

1. Soumettez un issue
2. Abonnez-vous à cette liste de diffusion : https://dolphinscheduler.apache.org/en-us/community/development/subscribe.html, puis envoyez un email à [email protected]

Communauté