Dolphin Scheduler 공식 웹사이트 dolphinscheduler.apache.org

설계 특징

DolphinScheduler는 강력한 DAG 시각적 인터페이스를 갖춘 분산형이자 확장 가능한 워크플로 스케줄러 플랫폼으로, 데이터 파이프라인에서 복잡한 작업 종속성을 해결하고 다양한 유형의 작업을 out of the box 형태로 제공하는 데 전념합니다.

주요 목표는 다음과 같습니다:

DAG 그래프에서 작업 간의 종속성에 따라 작업을 연결하며, 작업의 실행 상태를 실시간으로 시각화할 수 있습니다.
Shell, MR, Spark, SQL(MySQL, PostgreSQL, hive, spark SQL), Python, Sub_Process, Procedure 등 다양한 작업 유형을 지원합니다.
워크플로 및 종속성 스케줄링을 지원하며, 수동 스케줄링으로 작업을 일시 중지/정지/복구할 수 있고, 실패한 작업의 재시도/알람, 실패 지점부터 특정 노드 복구, 작업 종료 등을 지원합니다.
워크플로 및 작업의 우선순위, 작업 장애 조치(failover), 작업 시간 초과 알람 또는 실패를 지원합니다.
워크플로 전역 파라미터와 노드 맞춤형 파라미터 설정을 지원합니다.
리소스 파일의 온라인 업로드/다운로드/관리 등을 지원합니다. 온라인 파일 생성 및 편집을 지원합니다.
작업 로그의 온라인 조회, 스크롤 및 다운로드 등을 지원합니다.
클러스터 HA를 구현했으며, Zookeeper를 통해 Master 클러스터와 Worker 클러스터를 분산화합니다.
Master/Worker의 CPU 부하, 메모리 및 CPU 사용률 지표 조회를 지원합니다.
워크플로 기록을 트리/간트 차트로 표시하고, 각 워크플로의 작업 상태 및 프로세스 상태에 대한 통계 분석을 지원합니다.
데이터 백필(back-filling)을 지원합니다.
멀티 테넌트를 지원합니다.
국제화를 지원합니다.
더 많은 기능이 파트너 여러분의 탐험을 기다리고 있습니다...

DolphinScheduler의 특징

사용자 인터페이스 스크린샷

home page dag process definition list page view task log online resource management monitor security treeview

Docker에서 빠른 시작

공식 웹사이트 문서를 참조하세요: Docker에서 빠른 시작

Kubernetes에서 빠른 시작

공식 웹사이트 문서를 참조하세요: Kubernetes에서 빠른 시작

빌드 방법

./mvnw clean install -Prelease

아티팩트:

dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-bin.tar.gz: Binary package of DolphinScheduler
dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-src.tar.gz: Source code package of DolphinScheduler

감사의 말

DolphinScheduler는 Google guava, guice, grpc, netty, quartz 및 Apache의 많은 오픈소스 프로젝트 등 훌륭한 오픈소스 프로젝트들을 기반으로 합니다. Dolphin Scheduler에 사용된 모든 오픈소스 프로젝트에 깊은 감사를 표합니다. 우리는 오픈소스의 수혜자에 그치지 않고 커뮤니티에 환원하고자 합니다. 또한 오픈소스에 대한 열정과 열의를 가진 모든 분들이 함께하여 오픈소스 커뮤니티에 기여해 주시기를 바랍니다!

도움 받기

이슈를 제출하세요.
이 메일링 리스트를 구독하세요: https://dolphinscheduler.apache.org/en-us/community/development/subscribe.html, 그런 다음 [email protected]로 이메일을 보내세요.

커뮤니티

Dolphin Scheduler의 개발자 및 사용자와 소통하는 것을 매우 환영합니다. 그들을 찾는 방법은 두 가지가 있습니다:

이 초대 링크를 통해 Slack 채널에 참여하세요.
DolphinScheduler 트위터 계정을 팔로우하고 최신 소식을 제때에 받아보세요.

시간에 따른 기여자

기여 방법

커뮤니티는 모든 분의 기여를 환영합니다. 자세한 내용은 이 페이지를 참조하세요: 기여 방법.

라이선스

LICENSE 파일을 참조하세요.

분산형 멀티 마스터 및 멀티 워커	작업 상태, 작업 유형, 재시도 횟수, 작업 실행 머신 정보, 시각적 변수 등 워크플로 핵심 정보를 한눈에 시각화합니다.	일시 중지, 복구 작업 지원	사용자 정의 작업 유형 지원
HA 지원	모든 워크플로 작업을 시각화하고, 작업을 끌어 DAG를 그리고, 데이터 소스와 리소스를 구성할 수 있습니다. 동시에 타사 시스템에는 API 모드 작업을 제공합니다.	DolphinScheduler 사용자는 테넌트와 Hadoop 사용자를 통해 다대일 또는 일대일 매핑 관계를 실현할 수 있으며, 이는 대규모 데이터 작업을 스케줄링하는 데 매우 중요합니다.	스케줄러는 분산 스케줄링을 지원하며, 전체 스케줄링 용량은 클러스터 규모에 따라 선형적으로 증가합니다. Master와 Worker는 동적 조정을 지원합니다.
과부하 처리: 작업 큐 메커니즘을 사용하여 단일 머신에서 스케줄링 가능한 작업 수를 유연하게 구성할 수 있습니다. 작업 큐에 캐시된 많은 수의 작업을 허용하므로 머신 정체를 피할 수 있습니다.	원클릭 배포	기존 셸 작업과 빅데이터 플랫폼 작업 스케줄링 지원: MR, Spark, SQL(MySQL, PostgreSQL, hive, spark SQL), Python, Procedure, Sub_Process

apache__dolphinscheduler_CVE-2022-34662_2-0-9

인기