Apache Dolphinscheduler

소개

Apache DolphinScheduler는 현대적인 데이터 오케스트레이션 플랫폼입니다. 로우코드로 고성능 워크플로우를 민첩하게 생성할 수 있습니다. 또한 강력한 사용자 인터페이스를 제공하며, 데이터 파이프라인의 복잡한 작업 종속성을 해결하고 다양한 유형의 작업을 즉시 사용 가능하게 제공하는 데 전념하고 있습니다.

DolphinScheduler의 주요 기능은 다음과 같습니다:

쉬운 배포: Standalone, Cluster, Docker 및 Kubernetes를 포함한 네 가지 배포 방식을 제공합니다.
쉬운 사용: 워크플로우는 Web UI, Python SDK, Yaml 파일 및 Open API의 네 가지 방식으로 생성 및 관리할 수 있습니다.
높은 신뢰성 및 고가용성: 마스터 다중 및 워커 다중의 분산 아키텍처로 기본적으로 수평 확장을 지원합니다.
높은 성능: 다른 오케스트레이션 플랫폼보다 N배 빠른 성능을 제공하며, 하루에 수천만 개의 작업을 지원할 수 있습니다.
Cloud Native: DolphinScheduler는 멀티 클라우드/데이터 센터 워크플로우 오케스트레이션을 지원하며, 사용자 정의 작업 유형을 지원합니다.
워크플로우 및 워크플로우 인스턴스(작업 포함)의 버전 관리
워크플로우 및 작업의 다양한 상태 제어: 언제든지 일시 중지/중단/복구 지원
멀티 테넌시 지원
기타: 백필 지원(Web UI 기본), 프로젝트, 리소스 및 데이터 소스를 포함한 권한 제어

빠른 시작

빠른 체험을 원한다면
- Standalone으로 시작하기
- Docker로 시작하기
Kubernetes의 경우
- Kubernetes로 시작하기
Terraform의 경우
- Terraform으로 시작하기

사용자 인터페이스 스크린샷

홈페이지: 최신 워크플로우 인스턴스 및 작업 인스턴스 상태 통계를 포함한 프로젝트 및 워크플로우 개요.
워크플로우 정의: 드래그 앤 드롭으로 워크플로우를 생성 및 관리하여 복잡한 워크플로우를 쉽게 구축하고 유지 관리할 수 있으며, 기본적으로 다양한 작업을 지원합니다.
워크플로우 트리 보기: 추상 트리 구조로 작업 간의 관계를 더 명확하게 이해할 수 있습니다.
데이터 소스: 여러 외부 데이터 소스를 관리하고 MySQL, PostgreSQL, Hive, Trino 등에 대한 통합 데이터 액세스 기능을 제공합니다.
모니터: 마스터, 워커 및 데이터베이스의 상태를 실시간으로 확인하고 서버 리소스 사용량 및 부하를 포함하여 서버에 로그인하지 않고도 빠른 상태 점검을 수행할 수 있습니다.