[Fatal Error] total number of created files now is 100576, which exceeds 100000. Killing the job.

原创已于 2022-08-12 14:08:04 修改 · 1k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

当前文章被以下社区和专栏收录：

于 2022-08-12 14:04:13 首次发布

本文介绍了解决Hive在向分区表插入数据时遇到的文件数量限制问题的方法。通过调整Hive配置参数，如增加允许创建的最大文件数、设置输入格式、调整MapReduce任务的内存分配等，有效避免了因文件数量过多导致的任务失败。

hive在把一张表的数据插入到另一张分区表时，经常会报这个创建文件数超出限制的错误

解决办法：set hive.exec.max.created.files=900000; 提高最大文件数

加上如下设置即可

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set mapred.max.split.size=256000000;   -- 256M
set mapred.min.split.size.per.node=100000000;  -- 100M
set mapred.min.split.size.per.rack=100000000;  -- 100M
set hive.merge.mapfiles = true;
set hive.merge.mapredfiles = true;
set hive.merge.size.per.task = 256000000;   -- 256M
set hive.merge.smallfiles.avgsize=16000000;   -- 16M

set mapreduce.map.memory.mb=10240;
set mapreduce.reduce.memory.mb=10240;

set mapred.reduce.slowstart.completed.maps=1;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=20000;
set hive.exec.max.dynamic.partitions=20000;
set hive.exec.max.created.files=900000;

标签