环境篇：DolphinScheduler-1.3.1安装部署及使⽤技巧
环境篇：DolphinScheduler-1.3.1安装部署
1 配置jdk
#查看命令
rpm -qa | grep java
#删除命令
rpm -e --nodeps xxx
将oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm上传⾄每个节点安装
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
修改配置⽂件
vim /etc/profile
#添加
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
刷新源
source /etc/profile
检验
java
javac
2 pip、kazoo 安装
yum -y install epel-release
mysql的jar包下载yum -y install python-pip
yum -y install pip
pip --version
pip install kazoo
#使⽤python
#import kazoo，不报错即可
3 下载⼆进制包
请下载最新版本的后端安装包⾄服务器部署⽬录,⽐如创建 /opt/dolphinscheduler 做为安装部署⽬录
# 创建部署⽬录，部署⽬录请不要创建在/root、/home等⾼权限⽬录
mkdir -p /opt/dolphinscheduler
cd /opt/dolphinscheduler
# 上传⽂件并解压缩
tar -zxvf apache-dolphinscheduler-incubating-1.3. -C /opt/dolphinscheduler
#修改解压⽂件名字
mv apache-dolphinscheduler-incubating-1.3.1-dolphinscheduler-bin  dolphinscheduler-bin
4 创建⽤户
# 创建部署⽤户并赋予密码
userdel -r dolphinscheduler
useradd dolphinscheduler && echo dolphinscheduler | passwd --stdin dolphinscheduler
# 配置sudo免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers
# 修改⽬录权限，使得部署⽤户对dolphinscheduler-bin⽬录有操作权限
chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin
注意：
因为任务执⾏服务是以 sudo -u {linux-user} 切换不同linux⽤户的⽅式来实现多租户运⾏作业，所以部署⽤户需要有 sudo 权限，⽽且是免密的。初学习者不理解的话，完全可以暂时忽略这⼀点
如果发现/etc/sudoers⽂件中有"Default requiretty"这⾏，也请注释掉
如果⽤到资源上传的话，还需要给该部署⽤户分配操作本地⽂件系统或者HDFS或者MinIO的权限
5 对部署⽤户配置免密
所有节点
su dolphinscheduler
#⽣成密钥对（公钥和私钥）三次回车⽣成密钥
ssh-keygen -t rsa
#查看公钥
cat ~/.ssh/id_rsa.pub
#将密匙输出到/root/.ssh/authorized_keys
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
#注意：正常设置后，dolphinscheduler⽤户在执⾏命令ssh localhost 是不需要再输⼊密码的(请进⾏测试)
以下是集配置需要进⾏多机器免密，如果是单机请忽略
主节点
#追加密钥到主节点(需要操作及密码验证，追加完后查看⼀下该⽂件)--在主节点上操作，拷取从节点密匙
ssh 从节点机器IP cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/authorized_keys
#从主节点复制密钥到从节点
scp ~/.ssh/authorized_keys dolphinscheduler@从节点机器IP:~/.ssh/authorized_keys
所有节点互相进⾏ssh连接
ssh xxx
ssh xxx
7 部署mysql⽤户
因为我们并没有选择默认数据库PostgreSQL，故进⼊mysql数据库
# 设置数据⽤户 dolphinscheduler 的访问密码为 dolphinscheduler，并且不对访问的 ip 做限制
# 测试环境将访问设置为所有，如果是⽣产，可以限制只能⼦⽹段的ip才能访问（'192.168.1.%'）
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler';
flush privileges;
8 创建表和导⼊基础数据
修改datasource.properties中的下列属性
vim  conf/datasource.properties
#注意：注释postgre连接，打开mysql连接
>>>>
#注意：注释postgre连接，添加mysql连接
#spring.datasource.driver-class-name=org.postgresql.Driver
#spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
#注意下⾯：{user}值和 {password}值还有 IP地址需要⾃⾏修改
spring.datasource.sql.jdbc.Driver
spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true spring.datasource.username=dolphinscheduler
spring.datasource.password=dolphinscheduler
还需要⼿动添加 mysql-connector-java 驱动jar包到lib⽬录下，这⾥下载的是mysql-connector-java-5.1.47.jar
#查看jar包是否放⼊
ll lib | grep mysql
执⾏ script ⽬录下的创建表及导⼊基础数据脚本，这样我们的数据库⾥⾯有了⼩海豚的数据表了。
sh script/create-dolphinscheduler.sh
9 修改运⾏参数
9.1 dolphinscheduler_env.sh
修改 conf/env ⽬录下的 dolphinscheduler_env.sh`环境变量
vim conf/env/dolphinscheduler_env.sh
>>>>
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_HOME1=/opt/cloudera/parcels/CDH/lib/spark
#export SPARK_HOME2=/opt/soft/spark2
export PYTHON_HOME=/usr/bin/python
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
#export FLINK_HOME=/opt/soft/flink
#export DATAX_HOME=/opt/soft/datax/bin/datax.py
#export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HOME:$PATH
export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH
<<<
这⾥的环境屏蔽了FLINK和DATAX有需要的同学可以⾃⾏添加
9.2 修改⼀键部署配置⽂件
conf/config/f中的各参数，特别注意以下参数的配置
vim conf/config/f
>>>
# 这⾥填 mysql or postgresql
dbtype="mysql"
# 数据库连接地址
dbhost="localhost:3306"
# 数据库名
dbname="dolphinscheduler"
# 数据库⽤户名，此处需要修改为上⾯设置的{user}具体值
username="dolphinscheduler"
# 数据库密码, 如果有特殊字符，请使⽤\转义，需要修改为上⾯设置的{passowrd}具体值
passowrd="dolphinscheduler"
#Zookeeper地址，单机本机是localhost:2181，记得把2181端⼝带上
zkQuorum=":2181,:2181,:2181"
#将DS安装到哪个⽬录，如: /usr/local/src/dolphinscheduler，不同于现在的⽬录
installPath="/usr/local/src/dolphinscheduler"
#使⽤哪个⽤户部署，使⽤之前创建的⽤户
deployUser="dolphinscheduler"
# 邮件配置，以qq邮箱为例
# 邮件协议
mailProtocol="SMTP"
# 邮件服务地址，这是是qq邮箱
mailServerHost="smtp.qq"
# 邮件服务端⼝
mailServerPort="587"
# mailSender和mailUser配置成⼀样即可
# 发送者
mailSender="31xxxxx@qq"
# 发送⽤户
mailUser="31xxxxx@qq"
# 邮箱密码，这⾥是开启协议后服务商提供的密码
mailPassword="ewbzasdcbhea"
# TLS协议的邮箱设置为true，否则设置为false
starttlsEnable="true"
# 开启SSL协议的邮箱配置为true，否则为false。注意: starttlsEnable和sslEnable不能同时为true
sslEnable="false"
# 邮件服务地址值，参考上⾯ mailServerHost
sslTrust="smtp.qq"
# 业务⽤到的⽐如sql等资源⽂件上传到哪⾥，可以设置：HDFS,S3,NONE，单机如果想使⽤本地⽂件系统，请配置为HDFS，因为HDFS⽀持本地⽂件系统；如果不需要资源上传功能请选择NONE。强调⼀点：使⽤本resourceStorageType="HDFS"
# 这⾥以保存到HDFS为例
#注：但是如果你想上传到HDFS的话，NameNode启⽤了HA，则需要将hadoop的配置⽂件l和l放到conf⽬录下，并配置namenode cluster名称；如果NameNode不是HA，则修改为具体的ip或者主#    本地⽂件系统："file:///data/dolphinscheduler"  或    HDFS集： hdfs://{具体的ip/主机名}:8020
defaultFS="hdfs://:8020"
# 如resourcemanager HA启⽤，则配置为ResourceManager节点的主备ip或者hostname,⽐如","；如果是单ResourceManager请配置yarnHaIps=""即可
yarnHaIps=""
# 如果ResourceManager是HA或者没有使⽤到Yarn保持默认值"yarnIp1"即可；如果是单ResourceManager，请配置真实的ResourceManager主机名或者ip
singleYarnIp=""
# 资源上传根路径,⽀持HDFS和S3，由于hdfs⽀持本地⽂件系统，需要确保本地⽂件夹存在且有读写权限
resourceUploadPath="/data/dolphinscheduler"
# 具备权限创建resourceUploadPath的⽤户
hdfsRootUser="hdfs"
#在哪些机器上部署DS服务，本机选localhost（如下配置为单机配置，需要集配置，直接参考默认值即可）
ips="localhost"
#ssh端⼝，默认22
sshPort="22"
#master服务部署在哪台机器上
masters="localhost"
#worker服务部署在哪台机器上，并指定此worker属于哪⼀个worker组，下⾯⽰例的default即为组名
workers="localhost:default"
#报警服务部署在哪台机器上
alertServer="localhost"
#后端api服务部署在在哪台机器上
apiServers="localhost"
<<<
9.3 配置资源中⼼功能
上传资源⽂件和udf函数，所有上传的⽂件和资源都会被存储到hdfs上，所以需要配置以下配置
vim conf/common.properties
>>>
#有权在HDFS根路径下创建⽬录的⽤户
#数据存储⽂件夹指定，资源⽂件将存储到此hadoop hdfs路径，⾃配置，请确保该⽬录存在于hdfs上并具有读/写权限
data.store2hdfs.basepath=/data/dolphinscheduler
#资源上传启动类型:HDFS，S3，NONE
res.pe=HDFS
#是否启动kerberos
hadoop.security.authentication.startup.state=false
#java.f路径
java.f.path=/f
#LoginUserFromKeytab⽤户
login.user.keytab.username=hdfs-mycluster@ESZ.COM
#LoginUserFromKeytab路径
login.user.keytab.path=/opt/hdfs.headless.keytab
# 如果namenode ha需要复制l和l，到conf⽬录，⽀持s3，例如:s3a://dolphinscheduler
fs.defaultFS=hdfs://mycluster:8020
#resourcemanager ha注意这需要ip，如果是单ip，则为空
#如果它是单个resourcemanager，您只需要配置⼀个主机名。如果它是resourcemanager HA，则默认配置是正确的
yarn.application.status.address=xxxx:8088/ws/v1/cluster/apps/%s
<<<
sudo mkdir /data/dolphinscheduler
sudo chown -R dolphinscheduler:dolphinscheduler /data/dolphinscheduler
需要从Hadoop集的conf⽬录下复制l、l到dolphinscheduler项⽬的conf⽬录下，重启api-server服务。
9.4 ⼀键部署
切换到部署⽤户，执⾏⼀键部署脚本
sh install.sh
注意：第⼀次部署的话，在运⾏中第3步3,stop server出现5次以下信息，此信息可以忽略 sh: bin/dolphinscheduler-daemon.sh: No such file or directory 脚本完成后，会启动以下5个服务，使⽤ jps 命令查看服务是否启动
如果以上服务都正常启动，说明⾃动部署成功
部署成功后，可以进⾏⽇志查看，⽇志统⼀存放于logs⽂件夹内
logs/
├── dolphinscheduler-alert-server.log
├── dolphinscheduler-master-server.log
├── dolphinscheduler-worker-server.log
├── dolphinscheduler-api-server.log
├── dolphinscheduler-logger-server.log
10 登录系统
账号：admin
密码：dolphinscheduler123
11 Hello DolphinScheduler
11.1 Hello 租户⽤户
进⼊⼩海豚，我们会被直接拉⼊安全中⼼页⾯，难道不应该是炫酷的⾸页么？其实这是告诉我们这个
页⾯很重要，为什么呢？
因为我们需要做我们的租户⽤户管理，我们先建⽴，慢慢解释。
创建dolphinscheduler租户，这⾥的租户需要和我们的linux⽤户关联，也就是说liunx必须有。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。