windows下安装pyspark
下载Java 8
下载Anaconda
下载Hadoop
下载（3.2.1）
下载Spark3.2.1
1 、安装Java
⽤户变量： JAVA_HOME
设置为： D:\Program Files\Java\jdk1.8.0_311
⽤户变量： Pathjava系统变量设置
设置为： %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
⽤户变量： CLASSPATH
设置为： .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
2、安装Anaconda
点击安装完成之后，再：
⽤户变量：PATH
设置为：D:\Users\PC\anaconda3\Scripts
⽤activate进⼊anaconda的虚拟环境，然后敲python，出现Python 3.9.7, 说明安装成功了。exit()退出。创建python虚拟环境：conda create -n pyspark python=3.9
conda activate pyspark
创建成功
3、安装spark
设置⽤户变量SPARK_HOME，增加：
D:\Users\PC\spark-3.2.1-bin-hadoop3.2
设置⽤户变量path  $SPARK_HOME\bin
4、安装Hadoop
设置⽤户变量HADOOP_HOME，D:\Users\PC\hadoop-3.3.1，
设置系统变量path  $HADOOP_HOME\bin
5、把放到bin⽬录下
然后在命令⾏下敲spark-shell遇到两个问题
第⼀个：系统路径不到，解决办法：重新安装java，路径不要带空格，放在了d://java下⾯第⼆个：spark-shell报了⼀堆的错。解决办法：换spark版本为spark-3.1.2-bin-hadoop3.2 6、在开始菜单点击Anaconda prompt，以管理员⾝份运⾏，然后输⼊pyspark
成功。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。