Mapreduce的排序

1. Mapreduce排序

排序是MapReduce的灵魂，MapReduce在Map和Reduce的两个阶段当中，都在反复地执行排序。

1.1 全局排序

排序分为全局排序、部分排序、二次排序、辅助排序。全局排序，就是在一个MapReduce程序产生的输出文件中，所有的结果都是按照某个策略进行排序的，例如降序还是升序。MapReduce只能保证一个分区内的数据是key有序的，一个分区对应一个reduce，因此只有一个reduce就保证了数据全局有序，但是这样又不能用到Hadoop集群的优势。

1.2 快速排序和归并排序

在MapReduce中有两种排序方式，分别是快速排序和归并排序

• 快速排序：通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。
• 归并排序：归并排序（MERGE-SORT）是建立在归并操作上的一种有效的排序算法，该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为二路归并。

1.3 MapReduce的几次排序

在MapReduce的shuffle过程中通常会执行三次排序，分别是：

• Map输出阶段(溢写阶段)：根据分区以及key进行快速排序
• Map的合并溢写文件：将同一个分区的多个溢写文件进行归并排序，合成大的溢写文件
• Reduce输入阶段：将同一分区，来自不同Map task的数据文件进行归并排序
• 最后阶段：使用了堆排作最后的合并过程。

2 Mapreduce全排序

全局排序的三种实现方式：

2.1 设置一个reduce

缺点：跟单机没什么区别，不能用到Hadoop集群的优势，可能出现OOM

2.2 自定义分区函数

MapReduce默认的分区函数是HashPartitioner，其实现的原理是计算map输出key的 hashCode ，然后对Reduce个数 求余，余数相同的 key 都会发送到同一个Reduce。

缺点：必须手动地找到各个Reduce的分界点，尽量使得分散到每个Reduce的数据量均衡。而且每次修改Reduce的个数时，都得手动去找一次Key的分界点！非常不灵活。

3. 用TotalOrderPartitioner 分区器来实

TotalOrderPartitioner提供了三个采样器如下：

• SplitSampler 分片采样器：从数据分片中采样数据，该采样器不适合已经排好序的数据
• RandomSampler随机采样器：按照设置好的采样率从一个数据集中采样
• IntervalSampler间隔采样机：以固定的间隔从分片中采样数据，对于已经排好序的数据效果非常好