Apache Dolphinscheduler

À propos

Apache DolphinScheduler est une plateforme moderne d'orchestration de données qui permet un développement agile et low-code de workflows haute performance. Elle est dédiée à la gestion des dépendances complexes entre les tâches des pipelines de données et fournit une large gamme de types de travaux intégrés prêts à l'emploi

Les principales fonctionnalités de DolphinScheduler sont les suivantes :

• Facile à déployer, elle propose quatre modes de déploiement : Standalone, Cluster, Docker et Kubernetes.
• Facile à utiliser, les workflows peuvent être créés et gérés via l'interface Web, le Python SDK ou l'API ouverte
• Haute fiabilité et haute disponibilité, grâce à une architecture décentralisée multi-maîtres et multi-workers avec prise en charge native de la scalabilité horizontale.
• Haute performance, ses performances sont plusieurs fois supérieures à celles des autres plateformes d'orchestration et elle est capable de traiter des dizaines de millions de tâches par jour
• Cloud Native, DolphinScheduler prend en charge l'orchestration de workflows sur plusieurs clouds et centres de données, et permet de définir des types de tâches personnalisés
• Versionnage des workflows, offre un contrôle de version pour les workflows ainsi que pour les instances individuelles de workflows, y compris les tâches.
• Contrôle flexible de l'état des workflows et des tâches, avec prise en charge de la pause/arrêt/reprise à tout moment
• Prise en charge de la multi-location (multi-tenancy)
• Fonctionnalités supplémentaires : prise en charge du backfill (natif de l'interface Web), contrôle des permissions incluant le projet et les sources de données, etc.

Démarrage rapide

• Pour une expérience rapide
  • Vous souhaitez démarrer avec Standalone
  • Vous souhaitez démarrer avec Docker
• Pour Kubernetes
  • Démarrer avec Kubernetes
• Pour Terraform
  • Démarrer avec Terraform

Captures d'écran de l'interface utilisateur

• Page d'accueil : Vue d'ensemble des projets et des workflows, y compris les statistiques d'état des dernières instances de workflows et de tâches.

• Définition des workflows : Créez et gérez des workflows par glisser-déposer, ce qui facilite la construction et la maintenance de workflows complexes, avec prise en charge d'une large gamme de tâches prêtes à l'emploi.

• Vue arborescente des workflows : La structure arborescente abstraite offre une compréhension plus claire des relations entre les tâches

• Sources de données : Prend en charge plusieurs sources de données externes et offre des capacités d'accès unifiées aux données pour MySQL, PostgreSQL, Hive, Trino, etc.

• Surveillance : Visualisez en temps réel l'état des maîtres, des workers et de la base de données, y compris l'utilisation des ressources et la charge des serveurs, et effectuez un contrôle de santé rapide sans vous connecter au serveur.

Suggestions & Signalement de bogues

Suivez ce guide pour signaler vos suggestions ou bogues.

Contribuer

La communauté accueille favorablement les contributions de tous. Veuillez consulter cette page pour en savoir plus : Comment contribuer. Consultez les « good first issue » ici si vous débutez avec DolphinScheduler.

Communauté

Rejoignez la communauté Apache DolphinScheduler en :

• Rejoignant le Slack de DolphinScheduler pour rester en contact avec la communauté
• Suivant DolphinScheduler sur Twitter pour obtenir les dernières nouvelles
• Vous abonnant à la liste de diffusion DolphinScheduler, [email protected] pour les utilisateurs et [email protected] pour les développeurs

Landscapes

  

DolphinScheduler enrichit le CNCF CLOUD NATIVE Landscape.