Spark-submit 提交任务如何读取外部配置⽂件
需求场景 使⽤yarn-cluster模式提交Spark任务且需要读取的外部配置⽂件在本地（driver端） ，当然也可以把外部配置⽂件放在hdfs上以达到给所有executor⼴播的效果，但是此处单讨论懒⼈偏爱操作解决办法1、 在Spark-submit命令中加上参数 --f (可以配置多个⽂件，逗号隔开)
2、 在代码中直接⽤ConfigFactor加载
不想作为配置⽂件来读取外部资源⽂件的话，还可以⽤如下⽅式：
以上两种⽅式亲测可⽤，转载请注明出处，有问题敬请指教
今天⽣病不舒服，感觉随时要晕倒在⼯位上了，所以这篇博客⼀如既往地有点糙，随便吧就这样吧
狗⽣艰难伴随着百⽆聊赖，⾝体和精神双层空虚
满⼼委屈，偏偏跟⾝边的⼈说不着，跟亲近的⼈说不了，跟知⼰…噢 抱歉 没有知⼰
孤独成就了奥雷⾥亚诺·布恩迪亚上校，能再成就⼀个了不起的我吗spark -submit \--queue root .bigdata \--master yarn -cluster \--name targetStrFinder \--executor -memory 2G \--executor -cores 2 \--num -ex
ecutors 5 \--files ./application .conf \  # 此处是外部配置⽂件存放路径--class targetFind ./combinebak .jar
1
2
3
4
5
6
7
8
9
scala不是内部或外部命令
10 import com .typesafe .config .ConfigFactory  val configer = ConfigFactory .load ("f") log .info ("获取输⼊源地址：" + configer .getString ("data.source.path"))
1
2
3
4val bs : BufferedSource = scala .io .Source .fromFile ("f")bs .getLines ().foreach (line => {log .info ("==========" + line .toString )
1
2
3
4

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。