![](/static/images/wz_fx.png)
Apache DolphinScheduler如何部署?
1. 分布式易扩展的可视化工作流任务调度平台
Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用
2. 后端部署
参考
工作流任务调度系统:Apache DolphinSchedulerblog.csdn.net/github_39577257/article/details/102783298
2.1 基础环境
Mysql (5.5+) : 必装
JDK (1.8+) : 必装
ZooKeeper(3.4.6+) :必装
Hadoop(2.6+) :选装, 如果需要使用到资源上传功能,MapReduce任务提交则需要配置Hadoop(上传的资源文件目前保存在Hdfs上)
Hive(1.2.1) : 选装,hive任务提交需要安装
Spark(1.x,2.x) : 选装,Spark任务提交需要安装
PostgreSQL(8.2.15+) : 选装,PostgreSQL PostgreSQL存储过程需要安装
2.2 部署步骤
创建部署用户
服务器下载解压
ssh免密配置
数据库初始化
执行创建表和导入基础数据脚本
执行脚本一键部署
2.3 服务进程的说明
由前面我们可以看到,后端服务正常启动后,共有 5 个进程:WorkerServer、ApiApplicationServer、MasterServer、AlertServer、LoggerServer。
3. 使用
快速入门
浏览器访问http://192.168.33.6:8888,如下图所示。
创建一个队列。队列管理 -> 创建队列 -> 输入名称和队列值 -> 提交
创建租户。租户管理 -> 创建租户 -> 输入租户编码、租户名称和队列值 -> 提交。
建普通用户。用户管理 -> 创建用户 -> 输入用户名称、密码、租户名和邮箱,手机号选填 -> 提交。
4. 与 Azkaban 的对比
5. 总结
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统
从上面的安装可以看到这个调度系统集成了ZooKeeper,很好的实现了去中心化,每个角色的服务可以起多个,从znode上可以看到masters和workers的一些元信息都注册在了上面,交由ZK去选举,当然它也是一个分布式的
如果某个服务挂了,ZooKeeper会在剩下的其它节点进行选举
[超站]友情链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
![公众号](/static/images/ewm.jpg)
随时掌握互联网精彩
- 1 习近平在全国教育大会发表重要讲话 4969882
- 2 人大审议延迟退休年龄决定草案 4974152
- 3 华为三折叠手机发布 售价19999元起 4815866
- 4 三尺讲台上的“超人” 4779825
- 5 为什么要延迟退休?专家解读 4678651
- 6 江西新余上空现巨型蘑菇云 4568710
- 7 王楚钦3-0黄镇廷 4422938
- 8 TVB黄金配角李海生去世 4361931
- 9 外卖员年龄上限为45岁系假消息 4240830
- 10 北体军训拔河比赛绳子都断了 4181950