spark安装_Spark安装教程
⽂章来源:加⽶⾕⼤数据
Spark是Hadoop的⼦项⽬。 因此,最好将Spark安装到基于Linux的系统中。 以下步骤说明如何安装Apache Spark。
步骤1:验证Java安装
Java安装是安装Spark的强制性要求之⼀。 尝试使⽤以下命令验证JAVA版本。
如果Java已经,安装在系统上,你能看到以下响应 。
如果您没有在系统上安装Java,请在继续下⼀步之前安装Java。
步骤2:验证Scala安装
你应该使⽤Scala语⾔来实现Spark。 因此,让我们使⽤以下命令验证Scala安装。
如果Scala是已经安装在系统中,你能看到以下响应
如果您没有在系统上安装Scala,请继续执⾏Scala安装的下⼀步。
步骤3:下载Scala
通过访问以下链接下载Scala的最新版本:下载Scala。 对于本教程,我们使⽤scala-2.11.6版本。 下载后,您将在下载⽂件夹中到Scala tar⽂件。
步骤4:安装Scala
按照以下给出的安装Scala的步骤。提取Scala tar⽂件键⼊以下命令以解压缩Scala tar⽂件。
移动Scala软件⽂件
使⽤以下命令将Scala软件⽂件移动到相应的⽬录(/ usr / local / scala)。
移动Scala软件⽂件
使⽤以下命令将Scala软件⽂件移动到相应的⽬录(/ usr / local / scala)。
为Scala设置PATH
使⽤以下命令设置Scala的PATH。
验证Scala安装
安装后,最好验证它。 使⽤以下命令验证Scala安装。
如果Scala是已经安装在系统中,你能看到以下响应
步骤5:下载Apache Spark
java安装完整教程通过访问以下链接下载Spark的最新版本。 对于本教程,我们使⽤spark-1.3.1-bin-hadoop2.6版本。 下载后,你会在下载⽂件夹中到Spark tar⽂件。
步骤6:安装Spark
按照以下步骤安装Spark。
提取Spark tar以下命令⽤于提取spark tar⽂件。
移动Spark tar软件⽂件
以下命令⽤于将Spark软件⽂件移动到相应的⽬录(/ usr / local / spark)。
设置Spark的环境
将以下⾏添加到〜/ .bashrc⽂件。 这意味着将spark软件⽂件所在的位置添加到PATH变量。使⽤以下命令获取〜/ .bashrc⽂件。
步骤7:验证Spark安装
编写以下命令以打开Spark shell。
如果spark安装成功,那么您将到以下输出。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论