Apache Dolphinscheduler

소개

Apache DolphinScheduler는 민첩하고 로우 코드 방식의 고성능 워크플로우 개발을 지원하는 현대적인 데이터 오케스트레이션 플랫폼입니다.
데이터 파이프라인의 복잡한 작업 종속성을 처리하는 데 중점을 두며, 즉시 사용 가능한 다양한 내장 작업 유형을 제공합니다.

DolphinScheduler의 주요 기능은 다음과 같습니다:

쉬운 배포: Standalone, Cluster, Docker, Kubernetes를 포함한 네 가지 배포 모드를 제공합니다.
사용하기 쉬움: Web UI, Python SDK 또는 Open API를 통해 워크플로우를 생성하고 관리할 수 있습니다.
높은 신뢰성과 고가용성: 분산형, 다중 마스터 및 다중 워커 아키텍처와 수평 확장에 대한 기본 지원을 제공합니다.
고성능: 다른 오케스트레이션 플랫폼보다 몇 배 빠른 성능을 제공하며, 하루에 수천만 개의 작업을 처리할 수 있습니다.
클라우드 네이티브: DolphinScheduler는 여러 클라우드와 데이터 센터에 걸친 워크플로우 오케스트레이션을 지원하며, 사용자 정의 작업 유형을 허용합니다.
워크플로우 버전 관리: 워크플로우 및 개별 워크플로우 인스턴스(작업 포함)에 대한 버전 관리를 제공합니다.
워크플로우 및 작업의 유연한 상태 제어: 언제든지 일시 중지/중지/복구를 지원합니다.
멀티 테넌시 지원
추가 기능: 백필 지원(Web UI 기본), 프로젝트 및 데이터 소스 등을 포함한 권한 제어

빠른 시작

빠른 체험을 원한다면
- Standalone으로 시작
- Docker로 시작
Kubernetes의 경우
- Kubernetes로 시작
Terraform의 경우
- Terraform으로 시작

사용자 인터페이스 스크린샷

홈페이지: 프로젝트 및 워크플로우 개요, 최신 워크플로우 인스턴스 및 작업 인스턴스 상태 통계 포함.
워크플로우 정의: 드래그 앤 드롭으로 워크플로우를 생성하고 관리하며, 복잡한 워크플로우를 쉽게 구축 및 유지 관리할 수 있고, 다양한 작업을 즉시 지원합니다.
워크플로우 트리 보기: 추상 트리 구조는 작업 관계를 더 명확하게 이해할 수 있도록 합니다.
데이터 소스: 여러 외부 데이터 소스를 지원하며, MySQL, PostgreSQL, Hive, Trino 등에 대한 통합 데이터 액세스 기능을 제공합니다.
모니터: 마스터, 워커 및 데이터베이스의 상태를 실시간으로 확인하고, 서버 리소스 사용량과 부하를 포함하여 서버에 로그인하지 않고 빠른 상태 점검을 수행할 수 있습니다.