一、MapReduce概述
Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集。这也是为什么AWS的Haddop集群叫做EMR(Elastic Map Reduce)
MapReduce 作业过程如下：
- 将输入的数据集拆分为独立的块
- 由
map来并行处理这些块 - 对
map的输出进行排序，然后输入到reduce中
MapReduce 框架专门用于 <key，value> 键值对处理，它将作业的输入视为一组 <key，value> 对，并生成一组 <key，value> 对作为输出。输入和输出的 key 和 value 都必须实现Writable 接口。
(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)二、MapReduce编程模型简述
这里以WordCount为例进行说明，MapReduce 处理的流程如下：
- input : 读取文本文件；
- splitting : 将文件按照行进行拆分，此时得到的
K1行数，V1表示对应行的文本内容； - mapping : 并行将每一行按照空格进行拆分，拆分得到的
List(K2,V2)，其中K2代表每一个单词，由于是做词频统计，所以V2的值为 1，代表出现 1 次； - shuffling：由于
Mapping操作可能是在不同的机器上并行处理的，所以需要通过shuffling将相同key值的数据分发到同一个节点上去合并，这样才能统计出最终的结果，此时得到K2为每一个单词，List(V2)为可迭代集合，V2就是 Mapping 中的 V2； - Reducing : 这里的案例是统计单词出现的总次数，所以
Reducing对List(V2)进行归约求和操作，最终输出。
MapReduce 编程模型中 splitting 和 shuffing 操作都是由框架实现的，需要我们自己编程实现的只有 mapping 和 reducing，这也就是 MapReduce 这个称呼的来源。
三、combiner & partitioner
3.1 InputFormat & RecordReaders
InputFormat 将输出文件拆分为多个 InputSplit，并由 RecordReaders 将 InputSplit 转换为标准的<key，value>键值对，作为 map 的输出。这一步的意义在于只有先进行逻辑拆分并转为标准的键值对格式后，才能为多个 map 提供输入，以便进行并行处理。
3.2 Combiner
combiner 是 map 运算后的可选操作，它实际上是一个本地化的 reduce 操作，它主要是在 map 计算出中间文件后做一个简单的合并重复 key 值的操作。这里以词频统计为例：
map 在遇到一个 hadoop 的单词时就会记录为 1，但是这篇文章里 hadoop 可能会出现 n 多次，那么 map 输出文件冗余就会很多，因此在 reduce 计算前对相同的 key 做一个合并操作，那么需要传输的数据量就会减少，传输效率就可以得到提升。
但并非所有场景都适合使用 combiner，使用它的原则是 combiner 的输出不会影响到 reduce 计算的最终输入，例如：求总数，最大值，最小值时都可以使用 combiner，但是做平均值计算则不能使用 combiner。
不使用 combiner 的情况：
使用 combiner 的情况：
可以看到使用 combiner 的时候，需要传输到 reducer 中的数据由 12keys，降低到 10keys。降低的幅度取决于你 keys 的重复率，下文词频统计案例会演示用 combiner 降低数百倍的传输量。
3.3 Partitioner
partitioner 可以理解成分类器，将 map 的输出按照 key 值的不同分别分给对应的 reducer，支持自定义实现，后续的文章会详细讲解。