Apache Dolphinscheduler

À propos

Apache DolphinScheduler est une plateforme moderne d'orchestration de données qui permet le développement agile et low-code de workflows haute performance. Elle est dédiée à la gestion des dépendances complexes de tâches dans les pipelines de données et offre une large gamme de types de travaux intégrés prêts à l'emploi.

Les principales fonctionnalités de DolphinScheduler sont les suivantes :

• Déploiement facile, avec quatre modes de déploiement : autonome (standalone), cluster, Docker et Kubernetes.
• Facilité d'utilisation, les workflows peuvent être créés et gérés via l'interface Web, le SDK Python ou l'API Open.
• Haute fiabilité et haute disponibilité, avec une architecture décentralisée multi-maître et multi-travailleur, et une prise en charge native de la mise à l'échelle horizontale.
• Hautes performances, ses performances sont plusieurs fois supérieures à celles des autres plateformes d'orchestration, et elle est capable de traiter des dizaines de millions de tâches par jour.
• Cloud natif, DolphinScheduler prend en charge l'orchestration de workflows entre plusieurs clouds et centres de données, et permet des types de tâches personnalisés.
• Gestion de versions des workflows, offre un contrôle de version pour les workflows et les instances de workflow individuelles, y compris les tâches.
• Contrôle d'état flexible des workflows et des tâches, prend en charge la pause/l'arrêt/la reprise à tout moment.
• Prise en charge multi-locataires.
• Fonctionnalités supplémentaires, prise en charge du backfill (natif de l'interface Web), contrôle des permissions incluant le projet et la source de données, etc.

Démarrage rapide

• Pour une expérience rapide
  • Vous voulez démarrer avec standalone
  • Vous voulez démarrer avec Docker
• Pour Kubernetes
  • Démarrer avec Kubernetes
• Pour Terraform
  • Démarrer avec Terraform

Captures d'écran de l'interface utilisateur

• Page d'accueil : Aperçu des projets et des workflows, y compris les statistiques d'état des instances de workflow et de tâches les plus récentes.

• Définition du workflow : Créez et gérez des workflows par glisser-déposer, faciles à construire et à maintenir des workflows complexes, supporte une large gamme de tâches prêtes à l'emploi.

• Vue arborescente du workflow : La structure arborescente abstraite peut fournir une compréhension plus claire des relations entre les tâches.

• Source de données : Prend en charge plusieurs sources de données externes, offre des capacités d'accès aux données unifiées pour MySQL, PostgreSQL, Hive, Trino, etc.

• Surveillance : Visualisez l'état du maître, du travailleur et de la base de données en temps réel, y compris l'utilisation des ressources du serveur et la charge, effectuez un contrôle rapide de l'état sans vous connecter au serveur.

Suggestions et signalements de bugs

Suivez ce guide pour signaler vos suggestions ou bugs.

Contribuer

La communauté accueille favorablement les contributions de tous. Veuillez vous référer à cette page pour plus de détails : Comment contribuer. Consultez les good first issue ici si vous êtes nouveau sur DolphinScheduler.

Communauté

Rejoignez la communauté Apache DolphinScheduler en :

• Rejoignant le Slack de DolphinScheduler pour rester en contact avec la communauté
• Suivant le Twitter de DolphinScheduler pour obtenir les dernières nouvelles
• Vous abonnant à la liste de diffusion de DolphinScheduler : [email protected] pour les utilisateurs et [email protected] pour les développeurs

Paysages

  

DolphinScheduler enrichit le paysage CNCF CLOUD NATIVE.