Windows上安装运⾏Spark
①注意：必须下载官⽅要求的JDK版本，并设置JAVA_HOME，否则后⾯将出现很多⿇烦！
scala python②Scala当前最新版本为2.13.0，但是建议不要使⽤最新的版本，此处下载的是2.11.12
③设置环境变量
2.安装后在cmd中输⼊scala出现如下提⽰表⽰成功
4.进⼊spark-2.3.3-bin-hadoop2.7\bin，cmd中输⼊spark-shell
①出现下⾯错误，表⽰需要安装python。安装时选择加到系统路径中，安装完cmd中输⼊python验证是否安装成功。
②出现下⾯错误，表⽰不到Hadoop。需要安装Hadoop并设置HADOOP_HOME的系统路径。关于Windows下的Hadoop安装，可以参考《》。
③出现下⾯的WARN可以不⽤理会，正常使⽤。
如果实在受不了WARN的话，则在spark-2.3.3-bin-hadoop2.7\conf\log4j.properties(默认是有template后缀
的，直接去掉这个后缀)中增加apache.hadoop.util.NativeCodeLoader=ERROR
④屏蔽后的显⽰
下⾯的内容为使⽤IDEA写⼀个Scala的demo并使⽤Spark-submit运⾏。
5.下载IDEA的Scala插件
6.创建Scala的IDEA项⽬
7.选择相应的JDK和Scala，创建⼀个HelloWorld项⽬
8.创建⼀个名字为Hello的Scala Object，会⽣成⼀个Hello.scala⽂件
9.在⽂件中输⼊如下代码
object Hello {
def main(args: Array[String]): Unit = {
println("Hello World");
}
}
10.在IDEA中Run⼀下，正常显⽰
11.使⽤Project Structure->Artifacts打包成HelloWorld.jar
12.将HelloWorld.jar拷贝到spark-2.3.3-bin-hadoop2.7\bin中，在cmd中执⾏spark-submit --class Hello HelloWorld.jar
以上。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。