一、什么是数据倾斜
简单来说，数据倾斜就是数据的分布不平衡，在处理数据时有些很快处理完，而有些又迟迟未能处理完，导致整体任务最重迟迟无法完成，这种现象就是数据倾斜造成的。
数据倾斜就是key分布不均匀，分发到不同的reduce上，个别reduce任务特别重，导致其他reduce都完成，而这些个别的reduce迟迟不完成的情况。
二、数据倾斜原因
导致数据倾斜的原因有：
- key分布不均匀
- map端数据倾斜，输入文件太多且大小不一
- reduce端数据倾斜，分区器问题
- 某些sql语句本身容易产生数据倾斜
- 业务数据本身的特征
三、数据倾斜的解决方案
3.1 参数调节
hive.map.aggr=true
Map端部分聚合，相当于Combiner
hive.groupby.skewindata=true
3.2 SQL语句调节
如何Join：
选取Join Key分布最均匀的表作为驱动表，做好列裁剪和filter操作，已达到两表做join的时候，数据量相对变小的效果。
大小表Join：
使用map join让小的维度表（1000条以下的记录条数）先进内存，在map端完成reduce。
大表Join大表：
把空值的key编程一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终结果。
count distinct 大量相同特殊值：
count
2995
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
