Spark安装与配置（单机版）（保姆级教程）
Spark简述：
Spark：快速通⽤的⼤规模数据处理引擎，特点是速度快，易使⽤。
Spark安装前准备⼯作：
1、安装配置好jdk，如果不会安装可以跳转到
2、搭建配置好Hadoop，如果不会配置安装可以跳转到
3、安装好Scala，如果不会安装可以跳转到
Spark安装步骤：
1、通过xftp将spark安装包上传到Linux中，版本是spark-2.4.
2、解压缩tar -zxf spark-2.4. -C ../soft/
3、为了⽅便以后使⽤，将解压缩后的⽂件夹修改名字mv spark-2.4.5-bin-hadoop2.6/ spark245
4、配置环境变量vim /etc/profile
#spark
linux安装jdk教程export SPARK_HOME=/opt/soft/spark245
export PATH=$PATH:$SPARK_HOME/bin
5、⾸先先做个备份 cp plate spark-env.sh
然后修改配置⽂件，在最后添加如下代码
export JAVA_HOME=/opt/soft/jdk180
export SCALA_HOME=/opt/soft/scala211
export SPARK_HOME=/opt/soft/spark245
export HADOOP_INSTALL=/opt/soft/hadoop260
export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
export SPARK_MASTER_IP=nnode1
export SPARK_DRIVER_MEMORY=2G
export SPARK_EXECUTOR_MEMORY=2G
export SPARK_LOCAL_DIRS=/opt/soft/spark245
6、因为是单机版，不需要去配置slaves，但是也可以配置⼀下，plate slaves先做个备份，然后vim slaves，将localhost修改为⾃⼰的主机名
7、启动/关闭spark，进⼊到sbin⽬录下，看到有很多的命令，spark也有start-all.sh和stop-all.sh命令，所以直接./⽤就⾏了。
8、打开浏览器，输⼊主机名:8080就可以看到spark的可视化页⾯了
⾄此，spark单机版安装配置完成了~

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。