Sitio web oficial de Dolphin Scheduler dolphinscheduler.apache.org

Total Lines

Características de diseño

DolphinScheduler es una plataforma de programación de flujos de trabajo distribuida y extensible con potentes interfaces visuales DAG, dedicada a resolver dependencias complejas de trabajos en la canalización de datos y a proporcionar varios tipos de trabajos disponibles out of the box.

Sus principales objetivos son los siguientes:

• Asociar las tareas según las dependencias de las tareas en un grafo DAG, lo que permite visualizar el estado de ejecución de la tarea en tiempo real.
• Admite varios tipos de tareas: Shell, MR, Spark, SQL (MySQL, PostgreSQL, hive, spark SQL), Python, Sub_Process, Procedure, etc.
• Admite la programación de flujos de trabajo y dependencias, programación manual para pausar/detener/reanudar tareas, reintentos/alarmas de tareas fallidas, recuperación de nodos específicos desde el fallo, finalizar tareas, etc.
• Admite la prioridad de flujos de trabajo y tareas, failover de tareas y alarma o fallo por tiempo de espera agotado.
• Admite parámetros globales del flujo de trabajo y ajustes de parámetros personalizados por nodo.
• Admite carga/descarga/gestión en línea de archivos de recursos, etc. Admite creación y edición en línea de archivos.
• Admite visualización en línea, desplazamiento y descarga de registros de tareas, etc.
• Se ha implementado HA del clúster, descentralizando el clúster Master y el clúster Worker mediante Zookeeper.
• Admite la visualización de métricas de carga de CPU, memoria y uso de CPU de Master/Worker.
• Admite mostrar el historial del flujo de trabajo en gráfico de árbol/Gantt, así como análisis estadístico del estado de las tareas y del estado de los procesos en cada flujo de trabajo.
• Admite el rellenado de datos.
• Admite multiinquilino.
• Admite internacionalización.
• Más funciones esperando que los colaboradores las exploren...

¿Qué incluye DolphinScheduler?

Estabilidad	Accesibilidad	Características	Escalabilidad
Multimaster y multiworker descentralizados	Visualización de información clave del flujo de trabajo, como el estado de las tareas, el tipo de tarea, los reintentos, la información de la máquina de operación de tareas, las variables visuales, etc., de un vistazo.	Admite pausar y reanudar operaciones	Admite tipos de tareas personalizados
Admite HA	Visualización de todas las operaciones del flujo de trabajo: arrastrar tareas para dibujar DAG, configurar fuentes de datos y recursos. Al mismo tiempo, para sistemas de terceros, proporciona operaciones en modo API.	Los usuarios de DolphinScheduler pueden lograr una relación de asignación muchos-a-uno o uno-a-uno a través de los inquilinos y los usuarios de Hadoop, lo que es muy importante para programar trabajos de grandes datos.	El programador admite la programación distribuida, y la capacidad general de programación aumentará linealmente con la escala del clúster. Master y Worker admiten ajuste dinámico.
Procesamiento de sobrecarga: mediante el mecanismo de cola de tareas, el número de tareas programables en una sola máquina se puede configurar de forma flexible. Se puede evitar el bloqueo de la máquina con una alta tolerancia a la cantidad de tareas almacenadas en la cola.	Despliegue con un clic	Admite tareas shell tradicionales y programación de tareas de plataformas de big data: MR, Spark, SQL (MySQL, PostgreSQL, hive, spark SQL), Python, Procedure, Sub_Process

Capturas de pantalla de la interfaz de usuario

Inicio rápido en Docker

Consulte el documento del sitio web oficial: Inicio rápido en Docker

Inicio rápido en Kubernetes

Consulte el documento del sitio web oficial: Inicio rápido en Kubernetes

Cómo compilar

./mvnw clean install -Prelease

Artefacto:

dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-bin.tar.gz: Binary package of DolphinScheduler
dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-src.tar.gz: Source code package of DolphinScheduler

Agradecimientos

DolphinScheduler se basa en muchos proyectos excelentes de código abierto, como Google guava, guice, grpc, netty, quartz, y muchos proyectos de código abierto de Apache, entre otros. Queremos expresar nuestro profundo agradecimiento a todos los proyectos de código abierto utilizados en Dolphin Scheduler. Esperamos no ser solo beneficiarios del código abierto, sino también contribuir con la comunidad. Además, esperamos que todos los que tengan el mismo entusiasmo y pasión por el código abierto puedan unirse y contribuir a la comunidad del código abierto.

Obtener ayuda

1. Envíe una incidencia
2. Suscríbase a esta lista de correo: https://dolphinscheduler.apache.org/en-us/community/development/subscribe.html y luego envíe un correo electrónico a [email protected]

Comunidad