Spark-submit提交任务到集
1 IDEA 打包
postman设置失效时间displayport是什么意思⽰例代码参考,开发环境使⽤idea。⾸先需要将程序打包成jar
选择project structure --》artifacts ,由于集已经有了运⾏依赖的jar包,打包时可以将这些jar包排除出
去,以减⼩打包后的jar包的⼤⼩。
点击ok,然后选择build --》build artifacts,SparkSQLTest --》build,然后在⼯程⽬录的⼦⽬录下会⽣成j对应的jar⽂件:
idea配置artifacts2 提交任务
欧洲网站服务器iptrousers是什么意思英语⾸先启动集,然后客户端来到spark-submit⽬录:/app/hadoop/spark131/bin
spark-submit通过命令⾏的⽅式提交任务,具体参数信息如下:
提交⽰例如下:
在命令⾏输⼊如下命令:
./spark-submit --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3 /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar
在web监控界⾯可以看到:
3 运⾏结果
补码一位乘法计算修正
结果如下:
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论