? ? ? MapReduce的工作過程主要分為兩個階段:map階段和reduce階段。每個階段都是鍵值對最為輸入和輸出,而通常定義map函數(shù)和reduce函數(shù)。
比如一個氣象收集頻平臺,通過Map函數(shù)找出年份和氣溫,map主要是建立數(shù)據(jù)使用Reduce能夠在這個基礎(chǔ)上運行,并且初步進行數(shù)據(jù)清洗,比如去丟一些缺失的,不可靠的氣溫數(shù)據(jù)
比如下面輸入幾行示例輸入數(shù)據(jù)
對應的是input的鍵值對<k1,v1>其中k1代表的是偏移量,而v1代表的是數(shù)據(jù)。
然后根據(jù)上面的input提取出年份和氣溫提取數(shù)據(jù)(粗體顯示)