1.MapReduce定義

Mapreduce是一個分布式運算程序的編程框架，是用戶開發“基于hadoop的數據分析應用”的核心框架。

Mapreduce核心功能是將用戶編寫的業務邏輯代碼和自帶默認組件整合成一個完整的分布式運算程序，并發運行在一個hadoop集群上。

2.MapReduce優缺點

優點

MapReduce易于編程。它簡單的實現一些接口，就可以完成一個分布式程序，這個分布式程序可以分布到大量廉價的PC機器上運行。也就是說你寫一個分布式程序，跟寫一個簡單的串行程序是一模一樣的。就是因為這個特點使得MapReduce編程變得非常流行。

良好的擴展性。當你的計算資源不能得到滿足的時候，你可以通過簡單的增加機器來擴展它的計算能力。

高容錯性。MapReduce設計的初衷就是使程序能夠部署在廉價的PC機器上，這就要求它具有很高的容錯性。比如其中一臺機器掛了，它可以把上面的計算任務轉移到另外一個節點上運行，不至于這個任務運行失敗，而且這個過程不需要人工參與，而完全是由 Hadoop內部完成的。

適合PB級以上海量數據的離線處理。它適合離線處理而不適合在線處理。比如像毫秒級別的返回一個結果，MapReduce很難做到。

缺點

MapReduce不擅長做實時計算、流式計算、DAG（有向無環圖）計算。

實時計算。MapReduce無法像Mysql一樣，在毫秒或者秒級內返回結果。

流式計算。流式計算的輸入數據是動態的，而MapReduce的輸入數據集是靜態的，不能動態變化。這是因為MapReduce自身的設計特點決定了數據源必須是靜態的。

DAG（有向無環圖）計算。多個應用程序存在依賴關系，后一個應用程序的輸入為前一個的輸出。在這種情況下，MapReduce并不是不能做，而是使用后，每個MapReduce作業的輸出結果都會寫入到磁盤，會造成大量的磁盤IO，導致性能非常的低下。

3.MapReduce核心思想

分布式的運算程序往往需要分成至少2個階段。

第一個階段的maptask并發實例，完全并行運行，互不相干。

第二個階段的reduce task并發實例互不相干，但是他們的數據依賴于上一個階段的所有maptask并發實例的輸出。

MapReduce編程模型只能包含一個map階段和一個reduce階段，如果用戶的業務邏輯非常復雜，那就只能多個mapreduce程序，串行運行。

4.MapReduce進程

一個完整的mapreduce程序在分布式運行時有三類實例進程：

MrAppMaster：負責整個程序的過程調度及狀態協調。

MapTask：負責map階段的整個數據處理流程。

ReduceTask：負責reduce階段的整個數據處理流程。

5.MapReduce編程規范

用戶編寫的程序分成三個部分：Mapper，Reducer，Driver(提交運行mr程序的客戶端)

Mapper階段

用戶自定義的Mapper要繼承自己的父類

Mapper的輸入數據是KV對的形式（KV的類型可自定義）

Mapper中的業務邏輯寫在map()方法中

Mapper的輸出數據是KV對的形式（KV的類型可自定義）

map()方法（maptask進程）對每一個<K,V>調用一次

Reducer階段

用戶自定義的Reducer要繼承自己的父類

Reducer的輸入數據類型對應Mapper的輸出數據類型，也是KV

Reducer的業務邏輯寫在reduce()方法中

Reducetask進程對每一組相同k的<k,v>組調用一次reduce()方法

Driver階段

整個程序需要一個Drvier來進行提交，提交的是一個描述了各種必要信息的job對象