Dolphin Scheduler Site Oficial dolphinscheduler.apache.org

Características de Design

O DolphinScheduler é uma plataforma de agendamento de fluxos de trabalho distribuída e extensível, com poderosas interfaces visuais para DAG, dedicada a resolver dependências complexas de jobs em pipelines de dados e fornecendo vários tipos de jobs disponíveis out of the box (prontos para uso).

Seus principais objetivos são:

• Associar as tarefas de acordo com as dependências das tarefas em um grafo DAG, que pode visualizar o estado de execução da tarefa em tempo real.
• Suportar vários tipos de tarefa: Shell, MR, Spark, SQL (MySQL, PostgreSQL, hive, spark SQL), Python, Sub_Process, Procedure, etc.
• Suportar agendamento de fluxos de trabalho e dependências, agendamento manual para pausar/parar/recuperar tarefas, suportar nova tentativa/alerta de falha de tarefa, recuperar nós específicos a partir de falha, encerrar tarefa, etc.
• Suportar prioridade de fluxos de trabalho e tarefas, failover de tarefas e alerta ou falha por tempo limite de tarefa.
• Suportar parâmetros globais de fluxo de trabalho e configurações personalizadas de parâmetros de nó.
• Suportar upload/download/gerenciamento online de arquivos de recursos, etc. Suportar criação e edição online de arquivos.
• Suportar visualização, rolagem e download online de logs de tarefas, etc.
• Implementar HA de cluster, descentralizando o cluster Master e o cluster Worker por meio do Zookeeper.
• Suportar a visualização de métricas de carga de CPU, memória e uso de CPU de Master/Worker.
• Suportar a exibição do histórico de fluxos de trabalho em gráfico de árvore/Gantt, bem como análise estatística do status das tarefas e do status dos processos em cada fluxo de trabalho.
• Suportar preenchimento retroativo de dados (back-filling).
• Suportar múltiplos tenants.
• Suportar internacionalização.
• Mais recursos aguardando os parceiros explorarem...

O que há no DolphinScheduler

Estabilidade	Acessibilidade	Recursos	Escalabilidade
Master e worker descentralizados e múltiplos	Visualização de informações-chave do fluxo de trabalho, como status da tarefa, tipo de tarefa, número de tentativas, informações da máquina onde a tarefa opera, variáveis visuais e muito mais, tudo em uma olhada.	Suporta operações de pausar e recuperar	Suporta tipos de tarefa personalizados
Suporta HA	Visualização de todas as operações do fluxo de trabalho, arrastando tarefas para desenhar DAGs, configurando fontes de dados e recursos. Ao mesmo tempo, para sistemas de terceiros, oferece operações via modo API.	Os usuários do DolphinScheduler podem alcançar relações de mapeamento muitos-para-um ou um-para-um por meio de tenants e usuários do Hadoop, o que é muito importante para agendar jobs de grandes volumes de dados.	O agendador suporta agendamento distribuído, e a capacidade geral de agendamento aumentará linearmente com a escala do cluster. Master e Worker suportam ajuste dinâmico.
Processamento de sobrecarga: por meio do mecanismo de fila de tarefas, o número de tarefas agendáveis em uma única máquina pode ser configurado de forma flexível. Congestionamentos de máquina podem ser evitados com alta tolerância a números de tarefas em cache na fila de tarefas.	Implantação com um clique	Suporta tarefas shell tradicionais e agendamento de tarefas em plataformas de big data: MR, Spark, SQL (MySQL, PostgreSQL, hive, spark SQL), Python, Procedure, Sub_Process

Capturas de Tela da Interface do Usuário

Início Rápido no Docker

Consulte o documento do site oficial: Início Rápido no Docker

Início Rápido no Kubernetes

Consulte o documento do site oficial: Início Rápido no Kubernetes

Como Compilar

./mvnw clean install -Prelease

Artefato:

dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-bin.tar.gz: Pacote binário do DolphinScheduler
dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-src.tar.gz: Pacote de código-fonte do DolphinScheduler

Agradecimentos

O DolphinScheduler é baseado em muitos projetos de código aberto excelentes, como Google guava, guice, grpc, netty, quartz, e muitos projetos de código aberto da Apache e outros. Gostaríamos de expressar nossa profunda gratidão a todos os projetos de código aberto usados no Dolphin Scheduler. Esperamos que não sejamos apenas beneficiários do código aberto, mas também retribuamos à comunidade. Além disso, esperamos que todos aqueles que tenham o mesmo entusiasmo e paixão por código aberto possam se juntar e contribuir para a comunidade de código aberto!

Obter Ajuda

1. Envie um issue
2. Inscreva-se nesta lista de e-mails: https://dolphinscheduler.apache.org/en-us/community/development/subscribe.html e envie um e-mail para [email protected]

Comunidade