在日志里发现下面这个错误
[2021-10-26 19:47:45.029]Container [pid=8097,containerID=container_1635247229913_0031_01_000003] is running 274078208B beyond the 'VIRTUAL' memory limit. Current usage: 153.1 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.
首先分析一下
153.1MB:是任务所占的物理内存
1GB :mapreduce.map.memory.mb 参数默认设置大小
2.8GB:程序占用的虚拟内存
2.1GB:mapreduce.map.memory.mb 乘以 yarn.nodemanager.vmem-pmem-ratio 得到的
其中 yarn.nodemanager.vmem-pmem-ratio 是 虚拟内存和物理内存比例,在yarn-site.xml中设置,默认是2.1
很明显,container占用了2.8G的虚拟内存,但是分配给container的却只有2.1GB。所以kill掉了这个container
解决办法
此处可修改etc/hadoop/mapred-site.xml
添加配置信息
<property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx2560M</value>
</property>
然后重启整个haodoop模块
重新提交任务