Spark安装配置（本地模式、伪分布式、集模式--standalone,yarn模式）Spark安装配置
⽂章⽬录
2.1 Spark安装
hadoop分布式集搭建安装步骤：
1、下载软件解压缩，移动到指定位置
[root@linux121 ~]# cd /opt/lagou/software/
[root@linux121 software]# tar zxvf spark-2.4.
[root@linux121 software]# mv spark-2.4.5-bin-without-hadoop-scala-2.12/ ../servers/spark-2.4.5/
2、设置环境变量，并使之⽣效
vim /etc/profile
export SPARK_HOME=/opt/lagou/servers/spark-2.4.5
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
source /etc/profile
#cmd为windows命令，这⾥将其删除
[root@linux121 software]# cd $SPARK_HOME/bin
[root@linux121 bin]# ls *.cmd
[root@linux121 bin]# rm -rf *.cmd
3、修改配置
⽂件位置：$SPARK_HOME/conf
修改⽂件：slaves、f、spark-env.sh、log4j.properties
[root@linux121 conf]# cp plate spark-env.sh
[root@linux121 conf]# plate slaves
[root@linux121 conf]# f.f
[root@linux121 conf]# cp plate log4j.properties
more slaves
linux121
linux122
linux123
f
spark.master spark://linux121:7077
abled true
spark.eventLog.dir hdfs://linux121:9000/spark-eventlog
spark.serializer org.apache.spark.serializer.KryoSerializer
512m
创建 HDFS ⽬录：hdfs dfs -mkdir /spark-eventlog
备注：
spark.master。定义master节点，缺省端⼝号 7077
abled。开启eventLog
spark.eventLog.dir。eventLog的存放位置
spark.serializer。⼀个⾼效的序列化器
。定义driver内存的⼤⼩（缺省1G）
修改spark-env.sh
添加如下信息
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export HADOOP_CONF_DIR=/opt/lagou/servers/hadoop-2.9.2/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/opt/lagou/servers/hadoop-2.9.2/bin/hadoop classpath)
export SPARK_MASTER_HOST=linux121
export SPARK_MASTER_PORT=7077
备注：这⾥使⽤的是 spark-2.4.5-bin-without-hadoop，所以要将 Hadoop 相关jars 的位置告诉Spark
4、将Spark软件分发到集；修改其他节点上的环境变量
[root@linux121 conf]# cd /opt/lagou/servers
[root@linux121 servers]# scp -r spark-2.4.5/ linux122:$PWD
[root@linux121 servers]# scp -r spark-2.4.5/ linux123:$PWD
5、启动集
cd$SPARK_HOME/sbin
./start-all.sh
分别在linux121、linux122、linux123上执⾏ jps，可以发现：
linux121：Master、Worker
linux122：Worker
linux123：Worker
此时 Spark 运⾏在 Standalone 模式下。
在输⼊ start-all.sh / stop-all.sh 命令时，谁的搜索路径在前⾯就先执⾏谁，此时会产⽣冲突。
解决⽅案：
删除⼀组 start-all.sh / stop-all.sh 命令，让另外⼀组命令⽣效
将其中⼀组命令重命名。如：将 $HADOOP_HOME/sbin 路径下的命令重命名为：start-all-hadoop.sh / stop-all-hadoop.sh 将其中⼀个框架的 sbin 路径不放在 PATH 中
6、集测试
[root@linux121 ~]# run-example SparkPi 10
#hdfs上先创建/
[root@linux121 ~]# hdfs dfs -mkdir -p /
[root@linux121 ~]# spark-shell
scala> val lines = sc.textFile("/")
scala> lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)
Spark集是否⼀定依赖hdfs？不是的，除⾮⽤到了hdfs。
Apache Spark⽀持多种部署模式。最简单的就是单机本地模式（Spark所有进程都运
⾏在⼀台机器的JVM中）、伪分布式模式（在⼀台机器中模拟集运⾏，相关的进程
在同⼀台机器上）。分布式模式包括：Standalone、Yarn、Mesos。
Apache Spark⽀持多种部署模式：
本地模式。最简单的运⾏模式，Spark所有进程都运⾏在⼀台机器的 JVM 中
伪分布式模式。在⼀台机器中模拟集运⾏，相关的进程在同⼀台机器上（⽤的⾮常少）分布式模式。
包括：Standalone、Yarn、Mesos
Standalone。使⽤Spark⾃带的资源调度框架
Yarn。使⽤ Yarn 资源调度框架
Mesos。使⽤ Mesos 资源调度框架
2.2 本地模式
本地模式部署在单机，主要⽤于测试或实验；最简单的运⾏模式，所有进程都运⾏在
⼀台机器的 JVM 中；
本地模式⽤单机的多个线程来模拟Spark分布式计算，通常⽤来验证开发出来的应⽤
程序逻辑上有没有问题；
这种模式⾮常简单，只需要把Spark的安装包解压后，改⼀些常⽤的配置即可使⽤。
不⽤启动Spark的Master、Worker守护进程，也不⽤启动Hadoop的服务（除⾮⽤
到HDFS）。
local：在本地启动⼀个线程来运⾏作业；
local[N]：启动了N个线程；
local[*]：使⽤了系统中所有的核；
local[N,M]：第⼀个参数表⽰⽤到核的个数；第⼆个参数表⽰容许作业失败的次数
前⾯⼏种模式没有指定M参数，其默认值都是1；
测试：
1、关闭相关服务
stop-dfs.sh
stop-all.sh
2、启动 Spark 本地运⾏模式
spark-shell --master local
备注：此时可能有错误。主要原因是配置了⽇志聚合(即是⽤来了hdfs，但hdfs服务关闭了)，关闭该选项即可# f⽂件中，注释以下两⾏：
abled true
spark.eventLog.dir hdfs://linux121:9000/spark-eventlog
3、使⽤ jps 检查，发现⼀个 SparkSubmit 进程
这个SparkSubmit进程⼜当爹、⼜当妈。既是客户提交任务的Client进程、⼜是
Spark的driver程序、还充当着Spark执⾏Task的Executor⾓⾊。
4、执⾏简单的测试程序
val lines = sc.textFile("file:///") unt
2.3 伪分布式
伪分布式模式：在⼀台机器中模拟集运⾏，相关的进程在同⼀台机器上；
备注：不⽤启动集资源管理服务；
local-cluster[N,cores,memory]
N模拟集的 Slave（或worker）节点个数
cores模拟集中各个Slave节点上的内核数
memory模拟集的各个Slave节点上的内存⼤⼩
备注：参数之间没有空格，memory不能加单位
1、启动 Spark 伪分布式模式
spark-shell --master local-cluster[4,2,1024]
2、使⽤ jps 检查，发现1个 SparkSubmit 进程和4个
CoarseGrainedExecutorBackend 进程
SparkSubmit依然充当全能⾓⾊，⼜是Client进程，⼜是Driver程序，还有资源管理
的作⽤。
4个CoarseGrainedExecutorBackend，⽤来并发执⾏程序的进程。
3、执⾏简单的测试程序
spark-submit --master local-cluster[4,2,1024] --class org.amples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-2.4.5.jar 1 0
备注：
local-cluster[4,2,1024]，参数不要给太⼤，资源不够
这种模式少⽤，有Bug。SPARK-32236
2.4 集模式–Standalone模式
分布式部署才能真正体现分布式计算的价值
与单机运⾏的模式不同，这⾥必须先启动Spark的Master和Worker守护进程；
关闭 yarn 对应的服务
不⽤启动Hadoop服务，除⾮要使⽤HDFS的服务
使⽤jps检查，可以发现：
linux121：Master、Worker
linux122：Worker
linux123：Worker
使⽤浏览器查看（linux121:8080）
2.4.1 Standalone 配置
sbin/start-master.sh / sbin/stop-master.sh
sbin/start-slaves.sh / sbin/stop-slave.sh
sbin/start-slave.sh / sbin/stop-slaves.sh
sbin/start-all.sh / sbin/stop-all.sh
备注：./sbin/start-slave.sh [options]；启动节点上的worker进程，调试中较为常⽤

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。