Dolphin Scheduler Committer Dolphin Scheduler CIgithub action Master

Dolphin. Scheduler与容器 化的融合 刘小春 趣加游� & Committer

我与Dolphin. Scheduler的故事

�献 CI(github action)

部署�涉及到的服� Master Server: DAG任�切分的�度器 Worker Server: �行�行 Log Server: Task日志�� Alert Server: 告警 API Server: Rest Api Server Nginx + UI: 前端 Zookeeper: � /�列 /集群管理 DB: 数据存�

Mini DS 外部依� DB ��点��程部署 ��点 docker-compose部署 PROCESS CONTAINER UI Alert Master API Server Master Worker Zookeeper API Log Worker Bins/Libs Bins/Libs Node OS • 一个�程 • 去掉Nginx，由�程本身承担 Web. Server的功能 • 由本地�程承担 zookeeper�列和�的功能 Docker Node OS • docker-compose管理所有container • API Server合并原API Server + UI + Alert • Master=原Master • Worker合并Worker + Log • 每个服�都独立部署

Node DS DB Worker Node HAProxy Node API Server Node Master Worker Node API Server UI Alert Server API Server Node Master Worker Zookeeper Cluster Master Log Server Worker

Cloud DS POD自���容 Node A Node B Node C Node X Pod Pod API Server Worker Pod Pod Master Worker Master Pod Pod Zookeeper Master 持久卷(NAS) or hbase … DB Worker

CI/CD

Build�� • 一致的运行�境 (dev/test/prod) • Build once, run everywhere • 两种Trigger Build Pipeline • 一个完整的��

�量�� PR/MR�景 : • 非阻塞，快速���� • 基�的 E 2 E Test Case • 不包含Performance Test Case • 根据代� (前后端)触�不同的 Case Backend Frontend Nightly�景 : • 全部的E 2 E Case • Performance Test Case Backend Frontend

Thanks