IntellijIDEA开发（local模式）提交运⾏Spark代码
import scala.math.random
import org.apache.spark._
object Sparkpi{
def main(args: Array[String]) {
val conf = new SparkConf().setMaster(“local”).setAppName(“SparkPi”)
//创建环境变量 设置本地模式 设置所要执⾏APP的名字
val sc= new SparkContext(conf)
//创建环境变量实例
val slices = if (args.length > 0)
args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt
//随机产⽣100000个数
val count = sc.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x * x + y * y < 1) 1 else 0
}.reduce(_ + _)
println(“Pi is rough：” + 4.0 * count / n)
sc.stop()
}
}
idea开发安卓app教程
4
1. 按照上⾯的步骤成功，运⾏出结果![这⾥写图⽚描述]
1. 按照上⾯的做法不成功，运⾏程序出错，
1.若是上⾯的这个错误， 请加⼊.setMaster(“local”)这个参数
2 若是上⾯的错误 （a master url must be set………）
请将你的hadoop下bin打开
然后修改（windows）环境变量：
添加 HADOOP_HOME +你的hadoop的地址
添加path ;%HADOOP_HOME%\bin
![这⾥写图⽚描述]
并重启电脑！
5 重启之后打开ij 运⾏程序出现下⾯的问题：![这⾥写图⽚描述]解决⽅法：请把去掉local
6 重新运⾏程序
顺利解决问题！
结束语：bin⽂件下不了的, 可以联系我 1074359360@qq

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。