dolphinscheduler单机部署（Standalone）
1、基础软件安装(必装项请⾃⾏安装)
PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其⼀即可
(1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量
ZooKeeper (3.4.6+) ：必装()
Hadoop (2.6+) or MinIO ：选装， 如果需要⽤到资源上传功能，针对单机可以选择本地⽂件⽬录作为上传⽂件夹(此操作不需要部署Hadoop)；当然也可以选择上传到Hadoop or MinIO集上
注意：DolphinScheduler本⾝不依赖Hadoop、Hive、Spark，仅是会调⽤他们的Client，⽤于对应任务的运⾏。
2、下载⼆进制包
请下载最新版本的后端安装包⾄服务器部署⽬录,⽐如创建 /opt/dolphinscheduler 做为安装部署⽬录，下载地址： ，下载后上传tar 包到该⽬录中，并进⾏解压
# 创建部署⽬录，部署⽬录请不要创建在/root、/home等⾼权限⽬录
mkdir -p /opt/dolphinscheduler;
cd /opt/dolphinscheduler;
# 解压缩
tar -zxvf apache-dolphinscheduler-incubating-1.3. -C /opt/dolphinscheduler;
mv apache-dolphinscheduler-incubating-1.3.1-dolphinscheduler-bin  dolphinscheduler-bin
3、创建部署⽤户并赋予⽬录操作权限
创建部署⽤户，并且⼀定要配置sudo免密。以创建dolphinscheduler⽤户为例
# 创建⽤户需使⽤root登录
useradd dolphinscheduler;
# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler
# 配置sudo免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers
# 修改⽬录权限，使得部署⽤户对dolphinscheduler-bin⽬录有操作权限
chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin
注意：
- 因为任务执⾏服务是以 sudo -u {linux-user} 切换不同linux⽤户的⽅式来实现多租户运⾏作业，所以部署⽤户需要有 sudo 权限，⽽且是免密的。初学习者不理解的话 - 如果发现/etc/sudoers⽂件中有"Default requiretty"这⾏，也请注释掉
- 如果⽤到资源上传的话，还需要给该部署⽤户分配操作`本地⽂件系统或者HDFS或者MinIO`的权限
4、ssh免密配置
切换到部署⽤户并配置ssh本机免密登录
su dolphinscheduler;
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
注意：正常设置后，dolphinscheduler⽤户在执⾏命令ssh localhost 是不需要再输⼊密码的
5、数据库初始化
进⼊数据库，默认数据库是PostgreSQL，如选择MySQL的话，后续需要添加mysql-connector-java驱动包到DolphinScheduler的lib⽬录下
mysql -uroot -p
进⼊数据库命令⾏窗⼝后，执⾏数据库初始化命令，设置访问账号和密码。注: {user} 和 {password} 需要替换为具体的数据库⽤户名和密码
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIED BY '{password}';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost' IDENTIFIED BY '{password}';
mysql> flush privileges;
创建表和导⼊基础数据
修改 conf ⽬录下 datasource.properties 中的下列配置
vi conf/datasource.properties
如果选择 MySQL，请注释掉 PostgreSQL 相关配置(反之同理), 还需要⼿动添加 [] 包到 lib ⽬录下，这⾥下载的是mysql-
connector-java-5.1.47.jar，然后正确配置数据库连接相关信息
# postgre
#spring.datasource.driver-class-name=org.postgresql.Driver
#spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
# mysql
spring.datasource.sql.jdbc.Driver
spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true    需要修改ip，本机lo  spring.datasource.username=xxx      需要修改为上⾯的{user}值
spring.datasource.password=xxx      需要修改为上⾯的{password}值
修改并保存完后，执⾏ script ⽬录下的创建表及导⼊基础数据脚本
sh script/create-dolphinscheduler.sh
注意: 如果执⾏上述脚本报 ”/bin/java: No such file or directory“ 错误，请在/etc/profile下配置 JAVA_H
OME 及 PATH 变量
6、修改运⾏参数
修改 conf/env ⽬录下的 dolphinscheduler_env.sh 环境变量(以相关⽤到的软件都安装在/opt/soft下为例)
export HADOOP_HOME=/opt/soft/hadoop
export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
#export SPARK_HOME1=/opt/soft/spark1
export SPARK_HOME2=/opt/soft/spark2
export PYTHON_HOME=/opt/soft/python
export JAVA_HOME=/opt/soft/java
export HIVE_HOME=/opt/soft/hive
export FLINK_HOME=/opt/soft/flink
export DATAX_HOME=/opt/soft/datax/bin/datax.py
export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HO
注: 这⼀步⾮常重要，例如 JAVA_HOME 和 PATH 是必须要配置的，没有⽤到的可以忽略或者注释掉；如果不到
dolphinscheduler_env.sh, 请运⾏ ls -a
将jdk软链到/usr/bin/java下(仍以 JAVA_HOME=/opt/soft/java 为例)
sudo ln -s /opt/soft/java/bin/java /usr/bin/java
修改⼀键部署配置⽂件 conf/config/f中的各参数，特别注意以下参数的配置
# 这⾥填 mysql or postgresql
dbtype="mysql"
# 数据库连接地址
dbhost="localhost:5432"
# 数据库名
dbname="dolphinscheduler"
# 数据库⽤户名，此处需要修改为上⾯设置的{user}具体值
username="xxx"
# 数据库密码, 如果有特殊字符，请使⽤\转义，需要修改为上⾯设置的{password}具体值
password="xxx"
#Zookeeper地址，单机本机是localhost:2181，记得把2181端⼝带上
zkQuorum="localhost:2181"
#将DS安装到哪个⽬录，如: /opt/soft/dolphinscheduler，不同于现在的⽬录
installPath="/opt/soft/dolphinscheduler"
#使⽤哪个⽤户部署，使⽤第3节创建的⽤户
deployUser="dolphinscheduler"
# 邮件配置，以qq邮箱为例
# 邮件协议
mailProtocol="SMTP"
# 邮件服务地址
mailServerHost="smtp.qq"
# 邮件服务端⼝
mailServerPort="25"
# mailSender和mailUser配置成⼀样即可
# 发送者
mailSender="xxx@qq"
# 发送⽤户
mailUser="xxx@qq"
# 邮箱密码
mailPassword="xxx"
# TLS协议的邮箱设置为true，否则设置为false
starttlsEnable="true"
# 开启SSL协议的邮箱配置为true，否则为false。注意: starttlsEnable和sslEnable不能同时为true
sslEnable="false"
# 邮件服务地址值，参考上⾯ mailServerHost
sslTrust="smtp.qq"
# 业务⽤到的⽐如sql等资源⽂件上传到哪⾥，可以设置：HDFS,S3,NONE，单机如果想使⽤本地⽂件系统，请配置为HDFS，因为HDFS⽀持本地⽂件系统；如果resourceStorageType="HDFS"
mysql下载后安装中出现提示不到安装包# 这⾥以保存到本地⽂件系统为例
#注：但是如果你想上传到HDFS的话，NameNode启⽤了HA，则需要将hadoop的配置⽂件l和l放到conf⽬录下，本例即是放到/opt/dolp defaultFS="file:///data/dolphinscheduler"    #hdfs://{具体的ip/主机名}:8020
# 如果没有使⽤到Yarn，保持以下默认值即可；如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,⽐如",192.1 yarnHaIps=","
# 如果ResourceManager是HA或者没有使⽤到Yarn保持默认值即可；如果是单ResourceManager，请配置真实的ResourceManager主机名或者ip
singleYarnIp="yarnIp1"
# 资源上传根路径,⽀持HDFS和S3，由于hdfs⽀持本地⽂件系统，需要确保本地⽂件夹存在且有读写权限
resourceUploadPath="/data/dolphinscheduler"
# 具备权限创建resourceUploadPath的⽤户
hdfsRootUser="hdfs"
#在哪些机器上部署DS服务，本机选localhost
ips="localhost"
#ssh端⼝，默认22
sshPort="22"
#master服务部署在哪台机器上
masters="localhost"
#worker服务部署在哪台机器上，并指定此worker属于哪⼀个worker组，下⾯⽰例的default即为组名
workers="localhost:default"
#报警服务部署在哪台机器上
alertServer="localhost"
#后端api服务部署在在哪台机器上
apiServers="localhost"
注：如果打算⽤到资源中⼼功能，请执⾏以下命令：
sudo mkdir /data/dolphinscheduler
sudo chown -R dolphinscheduler:dolphinscheduler /data/dolphinscheduler
7、⼀键部署
切换到部署⽤户，执⾏⼀键部署脚本
sh install.sh
注意：
第⼀次部署的话，在运⾏中第3步`3,stop server`出现5次以下信息，此信息可以忽略
sh: bin/dolphinscheduler-daemon.sh: No such file or directory
脚本完成后，会启动以下5个服务，使⽤jps命令查看服务是否启动(jps为java JDK⾃带)
MasterServer        ----- master服务
WorkerServer        ----- worker服务
LoggerServer        ----- logger服务
ApiApplicationServer ----- api服务
AlertServer          ----- alert服务
如果以上服务都正常启动，说明⾃动部署成功
部署成功后，可以进⾏⽇志查看，⽇志统⼀存放于logs⽂件夹内
logs/
├── dolphinscheduler-alert-server.log
├── dolphinscheduler-master-server.log
|—— dolphinscheduler-worker-server.log
|—— dolphinscheduler-api-server.log
|—— dolphinscheduler-logger-server.log
8、登录系统
9、启停服务
⼀键停⽌集所有服务
sh ./bin/stop-all.sh
⼀键开启集所有服务
sh ./bin/start-all.sh
启停Master
sh ./bin/dolphinscheduler-daemon.sh start master-server
sh ./bin/dolphinscheduler-daemon.sh stop master-server
启停Worker
sh ./bin/dolphinscheduler-daemon.sh start worker-server
sh ./bin/dolphinscheduler-daemon.sh stop worker-server
启停Api
sh ./bin/dolphinscheduler-daemon.sh start api-server
sh ./bin/dolphinscheduler-daemon.sh stop api-server
启停Logger

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。