Windows10+Pycharm+Pyspark环境安装单机版spark ⾸先请确保你已经配置好Java1.7以上环境
然后将其解压⾄C盘根⽬录：【本⼈使⽤的是spark-2.2.0-bin-hadoop2.7】
日本最强rapper潮水网站步骤⼆：安装python环境【建议python3.5版本】，当然也可以直接安装Anaconda，然后使⽤⾃带或者创建python环境。
幽门螺杆菌是什么原因引起的
以及pycharm，这⾥有很多教程就不再赘述。
步骤三：
1.打开pycharm-（左上⾓）file---settings--Project Interpreter--选择你的python环境
2.打开解压后的spark⽂件---python---lib：C:\spark-2.2.0-bin-hadoop2.7\python\lib  你会看到有两个压缩⽂件
将其 粘贴 复制 解压  到你所选python环境的Lib\site-packages中 ⽐如：C:\Python35\Lib\site-packages
然后可在pycharm创建py⽂件尝试输⼊import pyspark 若不报错则证明操作成功【另外也可以直接pip in
stall pyspark==版本号】。下⾯是检验搭建是否
成功的例⼦代码：请务必看完后再尝试运⾏
from pyspark import *
import os
if __name__ == '__main__':
# Windows的Spark安装⽬录
技能培训
# Create SparkConf
conf = SparkConf() \
.setAppName("WordCount") \
.setMaster("local") \
# Create SparkContext
sc = SparkContext(conf=conf)
# 从本地模拟数据
工程编程师一个月能赚多少
datas = ["you,jump", "i,jump"]
# Create RDD
rdd = sc.parallelize(datas)
unt())  # 2
print(rdd.first())  # you,jum
# WordCount
wordcount = rdd.flatMap(lambda line: line.split(",")) \
.map(lambda word: (word, 1)) \
.
reduceByKey(lambda a, b: a + b)
for wc llect():
print(wc[0] + "  " + str(wc[1]))
# you  1
# jump  2
# i  1
当然，要想成功运⾏还需要⼀些操作：
'#你需要指定#Windows的Spark安装⽬录：os.environ['SPARK_HOME'] = 'C:\spark-2.2.0-bin-hadoop2.7‘pycharm python安装教程
另外你也可以以下图⽰指定SPARK_HOME
点击OK即可。
下⾯可尝试运⾏以下代码【如果报错：
Exception: Java gateway process exited before sending the driver its port number
在错误之前若出现'cmd' + ⼀堆乱码，可能是因为Windows10系统环境变量没有指定系统⽬录】尝试如下操作：
结束fifo的同步复位和异步复位

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。