ApacheDolphinSchedule安装部署踩坑
Apache DS 安装部署踩坑
@Author：Michealkz
前置基础知识
基本概念：
任务类型： ⽬前⽀持有SHELL、SQL、SUB_PROCESS(⼦流程)、PROCEDURE、MR、SPARK、PYTHON、DEPENDENT(依赖)，同时计划⽀持动态插件扩展。
注意：其中⼦ SUB_PROCESS 也是⼀个单独的流程定义，是可以单独启动执⾏的
邮件告警：⽀持 SQL任务 查询结果邮件发送，流程实例运⾏结果邮件告警及容错告警通知
失败策略：对于并⾏运⾏的任务，如果有任务失败，提供两种失败策略处理⽅式，继续是指不管并⾏运⾏任务的状态，直到流程失败结束。结束是指⼀旦发现失败任务，则同时Kill掉正在运⾏的并⾏任务，流程失败结束
补数：补历史数据，⽀持区间并⾏和串⾏两种补数⽅式
MasterServer：MasterServer 采⽤分布式⽆中⼼设计理念，MasterServer 主要负责 DAG 任务切分、任务提交监控，并同时监听其它 MasterServer 和 WorkerServer 的健康状态。MasterServer 服务启动时向 Zookeeper 注册临时节点，通过监听 Zookeeper 临时节点变化来进⾏容错处理。 MasterServer 基于 netty 提供监听服务。
WorkerServer：WorkerServer 也采⽤分布式⽆中⼼设计理念，WorkerServer 主要负责任务的执⾏和提供⽇志服务。
WorkerServer 服务启动时向Zookeeper注册临时节点，并维持⼼跳。 Server 基于 netty 提供监听服务。
队列：这⾥指的是任务的队列，提供任务队列的操作，⽬前队列也是基于Zookeeper来实现。由于队列中存的信息较少，不必担⼼队列⾥数据过多的情况，实际上我们压测过百万级数据存队列，对系统稳定性和性能没影响。
主从切换：
DolphinScheduler 并不存在主从的问题，master节点主要负责dag切分，提交任务监控，worker 节点
主要负责任务的执⾏和⽇志服务，master 和worder 节点均由zookeeper 选举产⽣
架构和设计思想：去中⼼化
中⼼化的思想：中⼼化的设计理念⽐较简单，分布式集中的节点按照⾓⾊分⼯，⼤体上分为两种⾓⾊：Master的⾓⾊主要负责任务分发并监督Slave的健康状态，可以动态的将任务均衡到Slave上，以致Slave节点不⾄于“忙死”或”闲死”的状态。Worker的⾓⾊主要负责任务的执⾏⼯作并维护和Master的⼼跳，以便Master可以分配任务给Slave。
中⼼化思想设计存在的问题：⼀旦Master出现了问题，则龙⽆⾸，整个集就会崩溃。为了解决这个问题，⼤多数Master/Slave架构模式都采⽤了主备Master的设计⽅案，可以是热备或者冷备，也可以是⾃动切换或⼿动切换，⽽且越来越多的新系统都开始具备⾃动选举切换Master的能⼒，以提升系统的可⽤性。另外⼀个问题是如果Scheduler在Master上，虽然可以⽀持⼀个DAG中不同的任务运⾏在不同的机器上，但是会产⽣Master的过负载。如果Scheduler在Slave上，则⼀个DAG中所有的任务都只能在某⼀台机器上进⾏作业提交，则并⾏任务⽐较多的时候，Slave的压⼒可能会⽐较⼤。
集中的管理者是被动态选择出来的，⽽不是预置的，并且集在发⽣故障的时候，集的节点会⾃发的举⾏"会议"来选举新的"管理者"去主持⼯作。最典型的案例就是 ZooKeeper 及 Go 语⾔实现的 Etcd。
DolphinScheduler的去中⼼化是Master/Worker注册到Zookeeper中，实现Master集和Worker集⽆中⼼，并使⽤Zookeeper 分布式锁来选举其中的⼀台Master或Worker为“管理者”来执⾏任务。
DolphinScheduler使⽤ZooKeeper分布式锁来实现同⼀时刻只有⼀台Master执⾏Scheduler，或者只有⼀台Worker执⾏任务的提交。
镜像下载地址
国内镜像下载地址：
# 清华源下载地址
mirrors.tuna.tsinghua.edu/apache/incubator/dolphinscheduler/1.3.5/apache-dolphinscheduler-incubating-1.3.
# 北理⼯源下载地址
mirrors.bfsu.edu/apache/incubator/dolphinscheduler/1.3.5/apache-dolphinscheduler-incubating-1.3.
部署模式：单机部署/集部署
这⾥采⽤的是集部署的⽅式
集部署（Cluster）
1.主机规划：
选择三台节点安装DolphinSchedule ，节点的选择可以随意，建议和zookeeper节点保持在同⼀机器上
192.168.5.72Monitor DolphinScheduler
192.168.5.19hdnamenode DolphinScheduler
192.168.5.61hddatanode01DolphinScheduler
2.基础软件安装
PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其⼀即可, 如MySQL则需要JDBC Driver 5.1.47+
(1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量
ZooKeeper (3.4.6+) ：必装
Hadoop (2.6+) or MinIO ：选装，如果需要⽤到资源上传功能，可以选择上传到Hadoop or MinIO上
注意：DolphinScheduler本⾝不依赖Hadoop、Hive、Spark，仅是会调⽤他们的Client，⽤于对应任务的提交。
3.下载⼆进制包
请下载最新版本的后端安装包⾄服务器部署⽬录,⽐如创建 /opt/dolphinscheduler 做为安装部署⽬录，下载地址： ，下载后上传tar 包到该⽬录中，并进⾏解压
# 创建部署⽬录，部署⽬录请不要创建在/root、/home等⾼权限⽬录
mkdir -p /opt/dolphinscheduler;
cd /opt/dolphinscheduler;
# 解压缩
tar -zxvf apache-dolphinscheduler-incubating-1.3. -C /opt/dolphinscheduler;
mv apache-dolphinscheduler-incubating-1.3.4-dolphinscheduler-bin dolphinscheduler-bin
4.创建部署⽤户和hosts映射
在所有部署调度的机器上创建部署⽤户，并且⼀定要配置sudo免密。假如我们计划在ds1,ds2,ds3,ds4这4台机器上部署调度，⾸先需要在每台机器上都创建部署⽤户
# 创建⽤户需使⽤root登录，设置部署⽤户名，请⾃⾏修改，后⾯以dolphinscheduler为例
useradd dolphinscheduler;
# 设置⽤户密码，请⾃⾏修改，后⾯以dolphinscheduler123为例
echo"dolphinscheduler123"| passwd --stdin dolphinscheduler
# 配置sudo免密
echo'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults requirett/#Defaults requirett/g'/etc/sudoers
-
因为是以 sudo -u {linux-user}切换不同linux⽤户的⽅式来实现多租户运⾏作业，所以部署⽤户需要有 sudo 权限，⽽且是免密的。
-如果发现/etc/sudoers⽂件中有"Default requiretty"这⾏，也请注释掉
-如果⽤到资源上传的话，还需要在`HDFS或者MinIO`上给该部署⽤户分配读写的权限
5.配置hosts映射和ssh打通及修改⽬录权限
以第⼀台机器(hostname为ds1)作为部署机，在ds1上配置所有待部署机器的hosts, 在ds1以root登录
vi /etc/hosts
#add ip hostname
x ds1
x ds2
x ds3
x ds4
注意：请删掉或者注释掉127.0.0.1这⾏
在ds1上，切换到部署⽤户并配置ssh本机免密登录
su dolphinscheduler;
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod600 ~/.ssh/authorized_keys
注意：正常设置后，dolphinscheduler⽤户在执⾏命令ssh localhost 是不需要再输⼊密码的
在ds1上，配置部署⽤户dolphinscheduler ssh打通到其他待部署的机器
在ds1上，修改⽬录权限，使得部署⽤户对dolphinscheduler-bin⽬录有操作权限
sudo chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin
6.数据库初始化
进⼊数据库，默认数据库是PostgreSQL，如选择MySQL的话，后续需要添加mysql-connector-java驱动包到DolphinScheduler的lib⽬录下，这⾥以MySQL为例
mysql - -P3306 -uroot -p
进⼊数据库命令⾏窗⼝后，执⾏数据库初始化命令，设置访问账号和密码。注: {user} 和 {password} 需要替换为具体的数据库⽤户名和密码
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON dolphinscheduler.*TO'{root}'@'%' IDENTIFIED BY'{CDPmonitor123456*}';
GRANT ALL PRIVILEGES ON dolphinscheduler.*TO'{root}'@'localhost' IDENTIFIED BY'{CDPmonitor123456*}';
flush privileges;
创建表和导⼊基础数据
修改 conf ⽬录下 datasource.properties 中的下列配置
vi conf/datasource.properties
如果选择 MySQL，请注释掉 PostgreSQL 相关配置(反之同理), 还需要⼿动添加 [] 包到 lib ⽬录下，这⾥下载的是mysql-connector-java-5.1.47.jar，然后正确配置数据库连接相关信息
#spring.datasource.driver-class-name=org.postgresql.Driver
#spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
# mysql
spring.datasource.sql.jdbc.Driver
spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true 需要修改ip spring.datasource.username=xxx 需要修改为上⾯的{user}值
spring.datasource.password=xxx 需要修改为上⾯的{password}值
# 修改之后
spring.datasource.sql.jdbc.Driver
spring.datasource.url=jdbc:mysql://192.168.5.72:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true
spring.datasource.username=root
spring.datasource.password=CDPmonitor123456*
mysql社区版国内镜像下载修改并保存完后，执⾏ script ⽬录下的创建表及导⼊基础数据脚本
sh script/create-dolphinscheduler.sh
注意: 如果执⾏上述脚本报 ”/bin/java: No such file or directory“ 错误，请在/etc/profile下配置 JAVA_HOME 及 PATH 变量7.修改运⾏参数
修改 conf/env ⽬录下的 dolphinscheduler_env.sh 环境变量(以相关⽤到的软件都安装在/opt/soft下为例)
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/etc/hadoop/conf
#export SPARK_HOME1=/opt/soft/spark1
export SPARK_HOME2=/opt/cloudera/parcels/CDH/lib/spark
export PYTHON_HOME=/bin/python
export JAVA_HOME=/usr/java/jdk1.8.0_45/
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export FLINK_HOME=/opt/soft/flink
export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$PATH
注: 这⼀步⾮常重要，例如 JAVA_HOME 和 PATH 是必须要配置的，没有⽤到的可以忽略或者注释掉
将jdk软链到/usr/bin/java下(仍以 JAVA_HOME=/opt/soft/java 为例)
sudo ln -s /usr/java/jdk1.8.0_45/bin/java /usr/bin/java
修改⼀键部署配置⽂件 conf/config/f中的各参数，特别注意以下参数的配置
# 这⾥填 mysql or postgresql
dbtype="mysql"
# 数据库连接地址
dbhost=":3306"
# 数据库名
dbname="dolphinscheduler"
# 数据库⽤户名，此处需要修改为上⾯设置的{user}具体值
username="xxx"
# 数据库密码, 如果有特殊字符，请使⽤\转义，需要修改为上⾯设置的{password}具体值
password="xxx"
#Zookeeper地址
zkQuorum="192.168.5.61:2181,192.168.5.65:2181,192.168.5.67:2181"
#将DS安装到哪个⽬录，如: /opt/dolphinscheduler/app，不同于现在的⽬录
installPath="/opt/dolphinscheduler/dolphinscheduler"
#使⽤哪个⽤户部署，使⽤第3节创建的⽤户
deployUser="dolphinscheduler"
# 邮件配置，以qq邮箱为例
# 邮件协议
mailProtocol="SMTP"
# 邮件服务地址
mailServerHost="smtp.qq"
# 邮件服务端⼝
mailServerPort="25"
# mailSender和mailUser配置成⼀样即可
# 发送者
mailSender="xxx@qq"
# 发送⽤户
mailUser="xxx@qq"
# 邮箱密码
mailPassword="xxx"
# TLS协议的邮箱设置为true，否则设置为false
starttlsEnable="true"
# 开启SSL协议的邮箱配置为true，否则为false。注意: starttlsEnable和sslEnable不能同时为true
sslEnable="false"
# 邮件服务地址值，参考上⾯ mailServerHost
sslTrust="smtp.qq"
# 业务⽤到的⽐如sql等资源⽂件上传到哪⾥，可以设置：HDFS,S3,NONE，单机如果想使⽤本地⽂件系统，请配置为HDFS，因为HDFS⽀持本地⽂件系统；如果不需要资源上传功能请选择NONE。强调⼀点：使⽤本地⽂件系统不需要部署hadoop
resourceStorageType="HDFS"
#如果上传资源保存想保存在hadoop上，hadoop集的NameNode启⽤了HA的话，需要将hadoop的配置⽂件l和l放到安装路径的conf ⽬录下，本例即是放到/opt/soft/dolphinscheduler/conf下⾯，并配置namenode cluster名称；如果NameNode不是HA，则只需要将mycluster修改为具体的ip或者主机名即可
defaultFS="hdfs://192.168.5.19:8020"
# 如果没有使⽤到Yarn，保持以下默认值即可；如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,⽐如",192."；如果是单ResourceManager请配置yarnHaIps=""即可
yarnHaIps=""
# 如果ResourceManager是HA或者没有使⽤到Yarn保持默认值即可；如果是单ResourceManager，请配置真实的ResourceManager主机名或者ip singleYarnIp="yarnIp1"
# 资源上传根路径，主持HDFS和S3，由于hdfs⽀持本地⽂件系统，需要确保本地⽂件夹存在且有读写权限
resourceUploadPath="/data/dolphinscheduler"
# 具备权限创建resourceUploadPath的⽤户
hdfsRootUser="hdfs"
#在哪些机器上部署DS服务，本机选localhost
ips="192.168.5.72,192.168.5.19,192.168.5.61"
#ssh端⼝，默认22
sshPort="22"
#master服务部署在哪台机器上
masters="192.168.5.72,192.168.5.19"
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论