MapReduce

DigtialOcean(遠程服務器) + Docker 取代 AWS

原因

  1. docker是一個輕量級容器,比較容易上手,不需要自己配置環境,所有用docker的環境一樣,遇到問題也一樣,節省開發效率
  2. 價格便宜

Docker

  1. 容器 a container
  2. (如果手動本地安裝 hadoop 需要下載很多 hadoop 文件,把云端 hadoop 環境裝到本機,修改配置,解決報錯,別人如果安裝還需要重復這項工作) docker 作為一個工具把整個 hadoop 環境裝到一個小黑箱里,放到云端,所有人都能用
  3. 容器具有輕量級特性,和虛擬機的區別,虛擬機自帶操作系統,容器需要用戶提供操作系統

MapReduce 中如果不修改參數,默認key 和 value 之間通過一個 /t 來分割,Mapper 讀取的 key 是當前讀取行在文件中的 offset,默認情況下 value 是讀取的每一行
context 是 MapReduce 和外界交流的工具,幫助完成讀寫工作
MapReduce 寫出 string 就 new Text(),寫出整數就 new IntWritable()

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。