Linux安装spark详细操作
⼀.准备
1.⼯具
⼯具包下载地址
scala
spark
2.搭建好Hadoop集
3.先将下载的Scala和spark包传输到Linux中，然后解压安装，需要先在Linux中先新建⼀个⽤于存放包的⽂件和⼀个⽤于解压安装包的⽂件在opt⽬录下新建package⽂件，⽤于存放包，新建sparktool⽬录⽤于解压安装包
[root@master1 ~]# cd /opt    //进⼊opt⽬录
[root@master1 opt]# mkdir package  //新建package⽬录，存放包
[root@master1 opt]# mkdir sparktool  //新建sparktool⽬录，解压包所⽤
[root@master1 opt]# ls    //查看，会发现下⾯多了两个⽬录
package  sparktool
进⼊package⽬录中，将包传⼊package⽬录中,（xshell需要⽤到rz⼯具，没有需要安装，本⼈⽤的xhell）
[root@master1 opt]# cd package/
[root@master1 package]# rz    //⽂件传输
[root@master1 package]# ls    //查看，会发现下⾯多了两个⽂件
scala-2.  spark-3.1.
⼆.安装
1.安装Scala
解压Scala包到sparktool⽬录中：
[root@master1 package]# tar -zxvf scala-2. -C /opt/sparktool //解压到sparktool⽬中
[root@master1 package]# cd ../sparktool/  //进⼊sparktool中
[root@master1 sparktool]# ls    //查看
scala-2.12.10
改名：
[root@master1 sparktool]# mv scala-2.12.10/ scala  //改名
linux安装jdk环境变量[root@master1 sparktool]# ls      //查看
scala
设置环境变量：
[root@master1 ~]# /opt/sparktool/scala/bin  //进⼊Scala的bin⽬录
[root@master1 bin]# pwd      //pwd获取路径，记住
/
opt/sparktool/scala/bin
[root@master1 bin]# cd      //返回主⽬录
[root@master1 ~]# vim /etc/profile    //编辑模式进⼊profile⽂件中，在⽂件最下⾯添加以下类容
【
#scala
export SCALA_HOME=/opt/sparktool/scala
export PATH=$PATH:$SCALA_HOME/bin
】
[root@master1 ~]# source /etc/profile  //使⽂件⽴即⽣效
[root@master1 ~]# scala -version    //查看是否成功，会出现Scala版本号
Scala code runner version 2.12.10 -- Copyright 2002-2019, LAMP/EPFL and Lightbend, Inc.
2.spark安装
解压spark包到sparktool⽬录中：
//进⼊package⽬录中解压spark包到sparktool⽬录中
[root@master1 package]# tar -zxvf spark-3.1. -C /opt/sparktool
改名：
[root@master1 package]# cd ../sparktool/  //进⼊sparktool⽬录中
[root@master1 sparktool]# ls    //查看
scala  spark-3.1.1-bin-hadoop2.7
[root@master1 sparktool]# mv spark-3.1.1-bin-hadoop2.7/ spark //改名
[root@master1 sparktool]# ls  //查看
scala  spark
设置环境变量：
[root@master1 sparktool]# cd spark/  //进⼊spark⽬录中
[root@master1 spark]# pwd    //pwd查看⽂件路径
/opt/sparktool/spark
[root@master1 spark]# cd    //回主⽬录
[root@master1 ~]# vim /etc/profile  //编辑器进⼊profile⽂件中，向最下⾯添加以下类容
【#spark
export SPARK_HOME=/opt/sparktool/spark
export PATH=$PATH:SPARK_HOME:$bin
】
[root@master1 ~]# source /etc/profile  //使⽂件⽴即⽣效
配置spark-env.sh：
[root@master1 ~]# cd /opt/sparktool/spark/conf  //到⽂件
[root@master1 conf]# ls        //查看
[root@master1 conf]# cp plate  spark-env.sh  //拷贝plate并改名为spark-env.sh
[root@master1 conf]# vim spark-env.sh  //进⼊⽂件
向⾥⾯添加以下内容：
#指定Java地址
export JAVA_HOME=/opt/modulle/jdk8
#指定masterIP
export SPARK_MASTER_IP=192.168.70.10
#指定master端⼝号
export SPARK_MASTER_PORT=7077
配置salves:
注意：如果使完全分布式则需要配置salves，伪分布式则不需要配置，完全分布式配置需要：进⼊⽂件然后删除最下⾯的localhost，再添加你从机的主机名即可。我是伪分布式。
三.启动spark
1.先启动Hadoop
start-all.sh
2.查看
[root@master1 ~]# jps
6132 SecondaryNameNode
6420 NodeManager
5765 NameNode
5925 DataNode
6727 Jps
6285 ResourceManager
3.之后进⼊spark⽬录输⼊以下命令
./sbin/start-master.sh
4.查看
[root@master1 spark]# jps
6754 Master
6132 SecondaryNameNode
6420 NodeManager
5765 NameNode
5925 DataNode
6796 Jps
6285 ResourceManager
4.spark下再次输⼊以下命令
[root@master1 spark]# ./sbin/start-slaves.sh
5.查看
[root@master1 spark]# jps 6754 Master
6132 SecondaryNameNode 6420 NodeManager
5765 NameNode
5925 DataNode
6922 Worker
6970 Jps
6285 ResourceManager 6.⽹上查看
主机名：8080
7.关闭集
stop-all.sh

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。