Doris实践(⼀)——Doris编译安装及环境准备
⽂章⽬录
⼀、编译:
1.Docker 准备
参照菜鸟教程安装在本地安装,我⽤的是macOS系统,直接下载版本的docker。
2.下载 Docker 镜像
docker pull apachedoris/doris-dev:build-env
我是直接下载的官⽅提供的doris的编译环境
需要按照Doris版本运⾏对应命令下载对应docker镜像
镜像版本commit id doris 版本apachedoris/doris-dev:build-env before0.8.x, 0.9.x
apachedoris/doris-dev:build-env-1.10.10.x, 0.11.x
apachedoris/doris-dev:build-env-1.20.12.x - 0.14.0
apache/incubator-doris:build-env-1.3or later后续的发布版本运⾏如下命令检查下载的docker镜像
docker images
3.Doris源码下载
>>点击“下载”>>选择需要的版本现在我们下载0.11.0版本的源码,并在本地解压
4.挂载编译
#/your/-release/ 本地-release路径
#/-release/ docker镜像挂载路径,这样进⼊后就可以直接进⼊到源码包中运⾏sh build.sh编译即可
docker run -it -v /your/-release/:/-release/ apachedoris/doris-dev:build-env-1.1
#编译⽣成doris,编译后be和fe安装包在⽣成的output/⽬录下,如果要安roker需要单独编译。
sh build.sh
#编译broker,编译后broker安装包在⽣成的output/⽬录下
cd$DORIS_HOME/fs_broker/apache_hdfs_broker
sh build.sh
5.编译后压缩
编译后压缩zip包,并复制到本地
#docker压缩
cd /-release
zip -r output.zip ./output
cd /-release/fs_broker
zip -r output.zip ./output
#退出docker
exit
#从docker复制到本地【04a83d4b3014】镜像名称:/docker⽂件路径,复制到本地路径/Users/iyunxiao/Desktop
docker cp 04a83d4b3014:/root/doris.zip /Users/iyunxiao/Desktop
⼆、安装
1、部署
直接在中按照3.部署部署Doris
请使⽤安装
在/home/hadoop/创建doris⽬录,解压到/home/hadoop/doris⽬录
tar -zxvf ./datas/apache-doris-0.11. -C ../doris
2、配置FE:
1、配置⽂件为 f。
其中注意:meta_dir:元数据存放位置。默认在 fe/doris-meta/下。需⼿动创建该⽬录。
mkdir doris-meta
2、fe.conf 中 JAVA_OPTS 默认 java 最⼤堆内存为 2GB,建议⽣产环境调整⾄ 8G 以上。
3、在fe/f中修改端⼝,建议将8080以下的端⼝(8080以下基本为系统端⼝对外不可见)都改为8080以上的端⼝或者
直接在原有端⼝的基础上在端⼝前加1,如8030改为18030
4、设置⽹络安全组将fe/f中的priority_networks=10.1.3.0/24,改为priority_networks=hostname/24
5、修改fe.conf⽂件中元数据⽬录
3、启动FE
sh bin/start_fe.sh --daemon
FE进程启动进⼊后台执⾏。⽇志默认存放在 fe/log/⽬录下。如启动失败,可以通过查看 fe/log/fe.log或者fe/log/fe.out查看错误信息。
4、配置BE
1、配置be/f
在be/f中修改端⼝,建议将8080以下的端⼝(8080以下基本为系统端⼝对外不可见)都改
为8080以上的端⼝或者直接在原有端⼝的基础上在端⼝前加1,如8030改为18030
2、设置⽹络安全组将be/f 中的priority_networks=10.1.3.0/24,改为priority_networks=hostname/24
3、修改 be/f。主要是配置storage_root_path:数据存放⽬录。默认在be/storage下,需要⼿动创建该⽬录。多个路径之间
使⽤ ; 分隔(最后⼀个⽬录后不要加 ;)。
4、将mysql中的执⾏脚本mysql软连接到$DORIS_HOME/⽬录下执⾏
#映射mysql
30:ln -s /home/hadoop/mysql/current/bin/mysql /home/hadoop/doris/
下载apache31-35:ln -s /home/hadoop/mysql/mysql/bin/mysql /home/hadoop/doris/
#进⼊mysql添加⾓⾊,host为leaderhost,port为 fe/f 中的 query_port;
./mysql -h host -P port -uroot
./mysql -h 172.16.0.35 -P 9030 -uroot
#添加BACKEND,ALTER SYSTEM ADD BACKEND "host:port";其中 host 为 BE 所在节点 ip;port 为 be/f 中的 heartbeat_service_port。ALTER SYSTEM ADD BACKEND "172.16.0.30:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.31:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.32:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.33:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.34:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.35:9050";
#添加OBSERVER,ALTER SYSTEM ADD FOLLOWER "host:port";或ALTER SYSTEM ADD OBSERVER "host:port";其中 host 为 Follower 或 Observer 所在节点 ip,port 为其配置⽂件 fe.conf 中的 edit_log_port。
ALTER SYSTEM ADD OBSERVER "172.16.0.34:9010";
ALTER SYSTEM ADD FOLLOWER "172.16.0.33:9010";
#在Follower节点和Observer节点启动,host为leaderhost,port 为其配置⽂件 fe.conf 中的 edit_log_port。
./bin/start_fe.sh --helper host:port --daemon
#可以查看当前已加⼊集的 FE 及其对应⾓⾊。
SHOW PROC ‘/frontends’;
5、启动be
#启动backend节点
sh bin/start_be.sh --daemon
#查看BE
SHOW PROC ‘/backend’;
6、编译broker
笔者⽤到的版本可能不太稳定,需要单独编译broker
1、编译broker,在doris源码包中到fs_broker⽬录,$Doris_release_dir/fs_broker/apache_hdfs_broker下执⾏
./build.sh
2、编译完成后将$Doris_release_dir/fs_broker/apache_hdfs_broker中的output⽬录下安装包拷贝到本地并上传到各节点,按照如上理论
配置即可
3、需要配置apache_f⽂件中的broker_ipc_port配置
7、在mysql中添加⾓⾊
#doris/be/be/bin执⾏
./mysql -h 172.16.0.35 -P 9030 -uroot
#添加broker信息
ALTER SYSTEM ADD BROKER broker_33_34_35 "172.16.0.33:18000","172.16.0.34:18000","172.16.0.35:18000";
ALTER SYSTEM ADD BROKER broker_33 "172.16.0.33:18000";
ALTER SYSTEM ADD BROKER broker_34 "172.16.0.34:18000";
ALTER SYSTEM ADD BROKER broker_35 "172.16.0.35:18000";
#其中 host 为 Broker 所在节点 ip;port 为 Broker 配置⽂件中的 broker_ipc_port。
8、启动broker
#各broker节点启动
sh bin/start_broker.sh --daemon
三、写在最后
笔者也是第⼀次进⾏调研安装,仅再次分享个⼈安装经验。仅为⼤家提供经验。主要教程建议以官⽹为主。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论