php與hadoop

應用場景:

1 計數和統計
2 整理
3 過濾
4 排序 

1、Hadoop安裝
2、映射器(Mapper)
映射器的任務是將輸入轉換成一系列的鍵值對。比如在字計數器的情況下,輸入是一系列的行。我們按單詞將它們分開,把它們變成鍵值對(如key:word,value:1),看起來像這樣:

the       1
water    1
on        1
on        1
water    1
on        1
...         1

3、reducer

reducer的任務是檢索(排序)對,迭代并轉換為所需輸出。 在單詞計數器的例子中,取單詞數(值),并將它們相加得到一個單詞(鍵)及其最終計數。如下:

water 2
the   1
on    3

4、基于單詞計數器的理解:

hadoop jar /usr/hadoop/2.5.1/libexec/lib/hadoop-streaming-2.5.1.jar \
 -mapper "./mapper.php"http://將數據處理成鍵值對
  -reducer "./reducer.php"http://將鍵值對歸類
 -input "hello/mobydick.txt"http://將數據寫入文件
 -output "hello/result"http://輸出統計結果寫入文件
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 目的這篇教程從用戶的角度出發,全面地介紹了Hadoop Map/Reduce框架的各個方面。先決條件請先確認Had...
    SeanC52111閱讀 1,768評論 0 1
  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,991評論 19 139
  • 思考問題 MapReduce總結 MapReduce MapReduce的定義MapReduce是一種編程模型, ...
    Sakura_P閱讀 964評論 0 1
  • Hadoop簡介 Hadoop是谷歌以2004年發表的一篇關于MapReduce的論文作為基礎開發的,就自身來講,...
    Sqlver閱讀 1,397評論 0 2
  • 文/小漂 最近幾天,我們村周圍都在討論著一件事——一輛寶馬車翻進路邊水溝里,車里兩個男生都死了。 為什么大家都在討...
    小太陽漂漂漂閱讀 873評論 4 5