Hadoop3.0Yarn添加⽹络、磁盘IO等资源资料汇总及实战配置遇到的问题和解
决办法
Hadoop3.0扩展Yarn资源，官⽹给了⼀些英⽂资料，这⾥about云翻译为中⽂资料。这些资料，还是⽐较多的，但是在初次阅读的时候，会感到摸不着头脑。但是书读百遍其义⾃见。下⾯对这些资料进⾏汇总。
Hadoop3.0: YARN Resource⾃定义资源配置说明
1.yarn默认情况下使⽤哪些资源？
2.Yarn如何实现扩展⾃定义资源？
3.⾃定义资源，可以在哪个配置⽂件中配置？
4.哪些配置可以在l⽂件或则 l⽂件配置？
5.yarn有哪三种Containers？
6.三种Container如何配置请求的CPU，memory等值？
hadoop3.0 Yarn⽀持⽹络1：network设计⽂档说明【中⽂】
1.⽹络作为Yarn的资源，有什么好处？
2.Yarn是否只⽀持调度和强制执⾏“传出流量”？
3.Yarn是否⽀持⼊⼝流量？
hadoop3.0 Yarn⽀持⽹络资源2：network设计⽂档说明【中⽂】
1.Resource profiles解决了什么问题？
2.使⽤profile的好处是什么？
3.配置⽂件的简洁模式如何配置？
hadoop3.0扩展Yarn资源模型详解1
3.标签是否为资源？
4.如何实现扩展YARN资源模型？
hadoop3.0扩展Yarn资源模型详解2：资源Profiles说明
1.Resource profiles解决了什么问题？
2.使⽤profile的好处是什么？
3.配置⽂件的简洁模式如何配置？
Hadoop3 YARN集中的磁盘I / O调度设计详解1【IO作为资源分配】
1.磁盘IO实现共享，使⽤的是什么原理技术？
2.如何描述磁盘I / O资源？
3.磁盘I / O资源中的调度因素如何？
4.每个NodeManager如何执⾏每个本地任务的磁盘I / O资源使⽤？
上⾯资料分别介绍了如何添加除了内存和vcores资源，并且对所⽀持的资源进⾏调度配置。根据以上资料，⼤家如果读懂，完全可以配置，如想节省时间。后⾯about云会出这⽅⾯的视频。
下⾯是在实际配置过程中遇到的问题：
提交job之后，程序不运⾏：
01 02 03 04 05 06 07 08 09 10 11 12 13hadoop jar /usr/hadoop-3 .0.0 /share/hadoop/mapreduce/hadoop-mapreduce-examples-3 .0.0.jar wordcount
/data/wordcount /output/wordcount
2018-01-12 15:51:13,841 INFO client.RMProxy: Connecting to ResourceManager at master /192 .168.1.10:8032 2018-01-12 15:51:15,296 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path:
/tmp/hadoop-yarn/staging/aboutyun/ .staging /job_1515742430977_0006
2018-01-12 15:51:15,812 INFO input.FileInputFormat: Total input files to process : 1
2018-01-12 15:51:16,131 INFO mapreduce.JobSubmitter: number of splits:1
2018-01-12 15:51:16,205 INFO Configuration.deprecation: abled is deprecated. Instead, use abled
2018-01-12 15:51:16,636 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1515742430977_0006 2018-01-12 15:51:16,638 INFO mapreduce.JobSubmitter: Executing with tokens: []
2018-01-12 15:51:17,088 INFO conf.Configuration: found l at file : /usr/hadoop-3 .0.0 /etc/hadoop/resource-types .xml
2018-01-12 15:51:17,148 INFO resource.ResourceUtils: Adding resource type - name = network, units = k, type = COUNTABLE
2018-01-12 15:51:17,311 INFO impl.YarnClientImpl: Submitted application application_1515742430977_0006 2018-01-12 15:51:17,459 INFO mapreduce.Job: The url to track the job: http: //master :8088
/proxy/application_1515742430977_0006/
2018-01-12 15:51:17,460 INFO mapreduce.Job: Running job: job_1515742430977_0006
⽇志也没有错误，然后通过tail -f在停⽌集和开启集中，查看所有⽇志。原来是nodemanger的配置⽂件出现问题。
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26java.lang.RuntimeException: WstxParsingException: Unexpected close tag < /name >; expected < /resource > at [row,col {unknown- source }]: [3,68]
at org.f.Configuration.loadResource(Configuration.java:3048)
at org.f.Configuration.loadResources(Configuration.java:2817)
at org.Props(Configuration.java:2689)
at org.f.Configuration.iterator(Configuration.java:2737)
at org.apache.hadoop.source.ResourceUtils.initializeNodeResourceInformation(ResourceUtils.java:497)
at org.apache.hadoop.NodeResourceInformation(ResourceUtils.java:476)
at
org.apache.hadoop.demanager.NodeResources(NodeManagerHardwareUti at org.apache.hadoop.demanager.NodeStatusUpdaterImpl.serviceInit(NodeStatusUpdaterImpl.java:177)
at org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
at org.apache.hadoop.demanager.NodeManager.serviceInit(NodeManager.java:440)
at org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
at org.apache.hadoop.demanager.NodeManager.initAndStartNodeManager(NodeManager.java:833)
at org.apache.hadoop.demanager.NodeManager.main(NodeManager.java:894)
Caused by: WstxParsingException: Unexpected close tag < /name >; expected < /resource >.
at [row,col {unknown- source }]: [3,68]
wstx.structWfcException(StreamScanner.java:621)
wstx.sr.StreamScanner.throwParseError(StreamScanner.java:491)
wstx.sr.StreamScanner.throwParseError(StreamScanner.java:475)
wstx.portWrongEndElem(BasicStreamReader.java:3365)
wstx.adEndElem(BasicStreamReader.java:3292)
wstx.FromTree(BasicStreamReader.java:2911)
wstx.(BasicStreamReader.java:1123)
at org.f.Configuration.loadResource(Configuration.java:2883)
27 28 29 30 31 32 33 34 35 36 37 38 39 40at org.f.Configuration.loadResource(Configuration.java:2883)
... 13 more
2018-01-12 15:57:07,441 INFO org.apache.hadoop.demanager.NodeManager: SHUTDOWN_MSG: /************************************************************
SHUTDOWN_MSG: Shutting down NodeManager at master /192 .168.1.10
************************************************************/
^C
[aboutyun@master logs]$ tail -f hadoop-aboutyun-nodemanager-master.log
wstx.portWrongEndElem(BasicStreamReader.java:3365)
wstx.adEndElem(BasicStreamReader.java:3292)
wstx.FromTree(BasicStreamReader.java:2911)
wstx.(BasicStreamReader.java:1123)
at org.f.Configuration.loadResource(Configuration.java:2883)
... 13 more
2018-01-12 15:57:07,441 INFO org.apache.hadoop.demanager.NodeManager: SHUTDOWN_MSG:
去掉⾥⾯的错误标记问题解决。l⽂件
01
02 03 04 05 06 07 08 09<configuration>
<!-- Site specific YARN configuration properties --> <property>
<name&sourcemanager. hostname < /name > <value>master< /value >
< /property >
<property>
<name&demanager.aux-services< /name >
10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36<name&demanager.aux-services< /name >
<value>mapreduce_shuffle< /value >
< /property >
<property>
<name&demanager. env -whitelist< /name >
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEN /value >
< /property >
<property>
<name&demanager.vmem-check- enable < /name >
<value> false < /value >
< /property >
<property>
unknown怎么处理<name>ablenetworkscheduling< /name >
<value> enable < /value >
< /property >
<property>
<name>yarn.scheduler.minimumallocationoutboundnetworkbandwidthmbit< /name >
<value>1mbit /sec < /value >
< /property >
<property>
<name>yarn.scheduler.maximumallocationoutboundnetworkbandwidthmbit< /name >
<value>1000mbit /sec < /value >
< /property >
<property>
<name&sourcework.interface< /name >
<value>eno16777736< /value >
< /property >

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。