Sito ufficiale di Dolphin Scheduler dolphinscheduler.apache.org

Caratteristiche di progettazione

DolphinScheduler è una piattaforma di pianificazione dei flussi di lavoro distribuita ed estensibile con potenti interfacce visive DAG, dedicata a risolvere le dipendenze complesse dei job nella pipeline di dati e a fornire vari tipi di job disponibili «pronti all'uso».

I suoi obiettivi principali sono:

• Associare le attività in base alle loro dipendenze in un grafo DAG, che può visualizzare lo stato di esecuzione dell'attività in tempo reale.
• Supportare vari tipi di attività: Shell, MR, Spark, SQL (MySQL, PostgreSQL, Hive, Spark SQL), Python, Sub_Process, Procedure, ecc.
• Supportare la pianificazione dei flussi di lavoro e delle dipendenze, la pianificazione manuale per mettere in pausa/interrompere/riprendere le attività, il riavvio/avviso in caso di fallimento dell'attività, il ripristino di nodi specifici dal fallimento, l'uccisione delle attività, ecc.
• Supportare la priorità dei flussi di lavoro e delle attività, il failover delle attività e l'avviso o il fallimento per timeout delle attività.
• Supportare i parametri globali del flusso di lavoro e le impostazioni personalizzate dei parametri dei nodi.
• Supportare il caricamento/scaricamento/gestione online dei file di risorse, ecc. Supportare la creazione e modifica di file online.
• Supportare la visualizzazione e lo scorrimento online dei log delle attività e il download, ecc.
• Avere implementato l'HA del cluster, decentralizzare il cluster Master e Worker attraverso Zookeeper.
• Supportare la visualizzazione delle metriche di carico CPU, memoria e utilizzo CPU di Master/Worker.
• Supportare la visualizzazione della cronologia dei flussi di lavoro in grafico ad albero/di Gantt, nonché l'analisi statistica sullo stato delle attività e sullo stato del processo in ogni flusso di lavoro.
• Supportare il back-filling dei dati.
• Supportare multi-tenancy.
• Supportare l'internazionalizzazione.
• Altre funzionalità in attesa di essere scoperte dai partner...

Cosa c'è in DolphinScheduler

Screenshot dell'interfaccia utente

Avvio rapido in Docker

Fare riferimento al documento del sito ufficiale: QuickStart in Docker

Avvio rapido in Kubernetes

Fare riferimento al documento del sito ufficiale: QuickStart in Kubernetes

Come compilare

./mvnw clean install -Prelease

Artifact:

dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-bin.tar.gz: Pacchetto binario di DolphinScheduler
dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-src.tar.gz: Pacchetto del codice sorgente di DolphinScheduler

Ringraziamenti

DolphinScheduler si basa su molti eccellenti progetti open-source, come Google guava, guice, grpc, netty, quartz, e molti progetti open-source di Apache e così via. Desideriamo esprimere la nostra profonda gratitudine a tutti i progetti open-source utilizzati in DolphinScheduler. Speriamo di non essere solo i beneficiari dell'open-source, ma anche di restituire qualcosa alla comunità. Inoltre, speriamo che chiunque abbia lo stesso entusiasmo e passione per l'open-source possa unirsi e contribuire alla comunità open-source!

Ottenere aiuto

1. Inviare un issue
2. Iscriviti a questa mailing list: https://dolphinscheduler.apache.org/en-us/community/development/subscribe.html, poi invia un'email a [email protected]

Comunità

Sei il benvenuto a comunicare con gli sviluppatori e gli utenti di DolphinScheduler. Ci sono due modi per trovarli:

1. Unisciti al canale Slack tramite questo link di invito.
2. Segui l'account Twitter di DolphinScheduler e ricevi le ultime notizie in tempo.

Contributori nel tempo

Come contribuire

La comunità accoglie chiunque voglia contribuire, fai riferimento a questa pagina per saperne di più: Come contribuire.

Licenza

Fare riferimento al file LICENSE.