流程分析：
Map端：
1．每個輸入分片會讓一個map任務來處理，默認情況下，以HDFS的一個塊的大小（默認為128M）為一個分片，當然我們也可以設置塊的大小（一個分片大小決定于分片最大值,分片最小值和塊大小 ,一般對應塊大小）。
map數以及分片大小的決定原理：
計算分片大小的公式是：
goalSize = totalSize / mapred.map.tasks
minSize = max {mapred.min.split.size, minSplitSize}
splitSize = max (minSize, min(goalSize, dfs.block.size))
totalSize是一個JOB的所有map總的輸入大小，即Map input bytes。參數mapred.map.tasks的默認值是2，我們可以更改這個參數的值。計算好了goalSize之后還要確定上限和下限。
下限是max {mapred.min.split.size, minSplitSize} 。參數mapred.min.split.size的默認值為1個字節，minSplitSize隨著File Format的不同而不同。
上限是dfs.block.size，它的默認值是128兆。
map輸出的結果會暫且放在一個環形內存緩沖區（buffer in memory）中（該緩沖區的大小默認為100M，由io.sort.mb屬性控制），當該緩沖區快要溢出時（默認為緩沖區大小的80%，由io.sort.spill.percent屬性控制），會在本地文件系統中創建一個溢出文件，將該緩沖區中的數據寫入這個文件。
2．在寫入磁盤之前，線程首先根據reduce任務的數目將數據劃分為相同數目的分區，也就是一個reduce任務對應一個分區的數據。這樣做是為了避免有些reduce任務分配到大量數據，而有些reduce任務卻分到很少數據，甚至沒有分到數據的尷尬局面。其實分區就是對數據進行hash的過程。然后對每個分區中的數據進行排序，如果此時設置了Combiner，將排序后的結果進行Combia操作，這樣做的目的是讓盡可能少的數據寫入到磁盤。
3．當map任務輸出最后一個記錄時，可能會有很多的溢出文件，這時需要將這些文件合并。合并的過程中會不斷地進行排序和combia操作，目的有兩個：1.盡量減少每次寫入磁盤的數據量；2.盡量減少下一復制階段網絡傳輸的數據量。最后合并成了一個已分區且已排序的文件。為了減少網絡傳輸的數據量，這里可以將數據壓縮，只要將mapred.compress.map.out設置為true就可以了。
4．將分區中的數據拷貝給相對應的reduce任務。有人可能會問：分區中的數據怎么知道它對應的reduce是哪個呢？其實map任務一直和其父TaskTracker保持聯系，而TaskTracker又一直和JobTracker保持心跳。所以JobTracker中保存了整個集群中的宏觀信息。只要reduce任務向JobTracker獲取對應的map輸出位置就ok了哦。
到這里，map端就分析完了。那到底什么是Shuffle呢？Shuffle的中文意思是“洗牌”，如果我們這樣看：一個map產生的數據，結果通過hash過程分區卻分配給了不同的reduce任務，是不是一個對數據洗牌的過程呢？
Reduce端：
1．Reduce會接收到不同map任務傳來的數據（數據為reduce拉取map結果），并且每個map生成的結果數據都是有序的。如果reduce端獲得的數據量相當小，則直接存儲在內存中（緩沖區大小由mapred.job.shuffle.input.buffer.percent屬性控制，表示用作此用途的堆空間的百分比），如果數據量超過了該緩沖區大小的一定比例（由mapred.job.shuffle.merge.percent決定），則對數據合并后溢寫到磁盤中。
2．隨著溢寫文件的增多，后臺線程會將它們合并成一個更大的有序的文件，這樣做是為了給后面的合并節省時間。其實不管在map端還是reduce端，MapReduce都是反復地執行排序，合并操作，現在終于明白了有些人為什么會說：排序是hadoop的靈魂。
3．合并的過程中會產生許多的中間文件（寫入磁盤了），但MapReduce會讓寫入磁盤的數據盡可能地少，并且最后一次合并的結果并沒有寫入磁盤，而是直接輸入到reduce函數。
mapreduce 使用的排序為歸并排序。
定義：
