idea创建pythonspark项⽬的步骤_使⽤IntellijIDEA构建spark开
发环境
近期开始研究学习spark，开发环境有多种，由于习惯使⽤STS的maven项⽬，但是按照许多资料的⽅法尝试以后并没有成功，也可能是我环境问题；也可以是⽤scala中⾃带的eclipse，但是不太习惯，听说⽀持也不太好，好多问题；咨询⼀些⼈后说，IDEA对scala的⽀持⽐较好。所以尝试使⽤IDEA来构建Spark开发环境；
1.  安装JDK
2.  安装IDEA最新版，⽬前是IDEA 14，社区免费版就可以；
3.  安装scala插件，运⾏IDEA，初次运⾏，可以直接再弹出的tab框中选择“Configure” -> "plugins"，如果已经使⽤过在⼯程页
⾯，“File” -> "Settings" -> "Plugins" 或者Ctrl + Alt + S， 输⼊“scala”， 安装插件即可
4.  搭建Spark开发环境
idea配置artifacts
播放数字组词
4.1 下载spark的jar包， 在下载页⾯选择相应的spark版本， 包类型这⾥选择spark1.2.0， 和Pre-build for Hadoop 2.4进⾏下载
stack
spark-1.2.，解压， lib下的spark-assembly-1.2.0-hadoop2.4.0.jar是所需要的；
4.2 新建scala项⽬， “File” -> "New Project"， 选择scala，scala，next起名字，finish
4.3 导⼊spark包
在项⽬页“File” -> "project structure" -> "Libraries", 点“+”，选“java”，到spark-assembly-1.2.0-hadoop2.4.0.jar导⼊，这样就可以编写spark的scala程序了(例⼦有空补)企业网站建设的要素包括哪些
4.4 程序导出
如果在spark上运⾏程序，需要将程序导出为jar包，并将jar包上传⾄spark集运⾏。导出jar包分为两步：
1)在项⽬页“File” -> "project structure" ->"Artifacts", 点“+”，选“JAR”->"from modules with dependencies .."，在弹出的Create Jar from Modules中选择Module和MainClass，点“OK”，然后分别选择到导出的Jar包名， 导出路径，导出⽂件，点“OK”;高压超高压容器为几类容器
access集团融资2) 在项⽬页“Build”->"Build Artifacts"，选择相应的jar包，build即可在⽬录下⽣成相应jar包；

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。