HiveSQL任务执⾏报错（Containerkilledonrequest.Exitco。。。
错误描述
执⾏ hive 任务报错
Diagnostic Messages for this Task:
Container [pid=27756,containerID=container_1460459369308_5864_01_000570] is running beyond physical memory limits. Current usage: 4.2 GB of 4 G B physical memory used; 5.0 GB of 16.8 GB virtual memory used. Killing container.
Container killed on request. Exit code is 143exited
Container exited with a non-zero exit code 143
Hive 任务执⾏时设置的参数
查看关于 container 内存的配置:
hive (default)> SET mb;
mb=4096
hive (default)> mb;
hive (default)> demanager.vmem-pmem-ratio;
注:
错误分析
从 hive 报错看是由于物理内存达到限制，导致 container 被 kill 掉报错。
看⽇志的末端，看出现报错是属于哪⼀个阶段，是map task阶段或者reduce task阶段，是哪⼀阶段的内存不⾜导致的问题。
结论
从上⾯执⾏时候配置的参数看，单个map 和 reduce 分配物理内存 4G; 虚拟内存限制 4 * 4.2 = 16.8G 。
所以从上⾯的报错信息来看，是由于单个 task (map task 或 reduce task) 处理的数据量超过物理内存 4G 限制导致的，所以设置mb = 8092 或者 mb = 8092 即可解决该问题。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。