pyspark-配置spark的Python环境
1.⾸先你的服务器上spark环境已经配置完成，本⽂主要针对spark配置pyspark
2.由于python的库众多为了更好的管理与集成，这⾥使⽤anconda3来集成Python3（我的centOS7默认安装了Python2）
3.在安装anconda3之前需有yum -y install bzip2 bzip2-devel 环境否则⽆法解压anancoda3（anconda3可以去清华⼤学镜像库下载，⽐较⽅便，我这⾥⽤的版本3.2.5.0这个版本Python的版本为3.5.0，如果下载anancoda2⾥⾯Python版本是Python2，如果下更⾼版本Python可能会有兼容问题，不过我也没试过，试过的⼩伙伴可以留⾔告诉我）
4.安装时需要注意：bash Anaconda3-2.
5.0-Linux-x86_64.sh ，进⼊安装后⼀直回车，会询问yes，在回车，会出现安装路径我没有修改，之后会⾃动安装最后还会有⼀个询问我选的yes（是询问是否⾃动配置环境变量），之后会出现安装成功提⽰。(我⼜⼀次没有在最后yes，⾃动设置环境变量发现Python版本没有改变过来，我重新了anancoda，这⾥要注意)
第⼀次询问
安装位置
anancoda3 Python加⼊Python配置
5.安装成功anconda3之后，输⼊python发现版本还是2.7，这时需要重启liunx，在检查版本为3.5
6.配置spark，在spark安装⽬录vi ./conf/spark-dev.sh ⾥⾯添加anconda3的Python位置（我的测试服务器安装的是默认位置），
export PYSPARK_DRIVER_PYTHON=/root/anaconda3/bin/python
export PYSPARK_PYTHON=/root/anaconda3/bin/python
保存即可。
补：我使⽤zeeplin 来编写代码，在zeeplin配置pyspark，点击Interpreters，搜索spark,
新增参数:spark.home 值为你主机spark的安装路径
编辑参数:zepplin.pyspark.python 值为anaconda3的Python路径python默认安装路径
重启zepplin即可

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。