DigtialOcean(遠程服務器) + Docker 取代 AWS
原因
- docker是一個輕量級容器,比較容易上手,不需要自己配置環境,所有用docker的環境一樣,遇到問題也一樣,節省開發效率
- 價格便宜
Docker
- 容器 a container
- (如果手動本地安裝 hadoop 需要下載很多 hadoop 文件,把云端 hadoop 環境裝到本機,修改配置,解決報錯,別人如果安裝還需要重復這項工作) docker 作為一個工具把整個 hadoop 環境裝到一個小黑箱里,放到云端,所有人都能用
- 容器具有輕量級特性,和虛擬機的區別,虛擬機自帶操作系統,容器需要用戶提供操作系統
MapReduce 中如果不修改參數,默認key 和 value 之間通過一個 /t 來分割,Mapper 讀取的 key 是當前讀取行在文件中的 offset,默認情況下 value 是讀取的每一行
context 是 MapReduce 和外界交流的工具,幫助完成讀寫工作
MapReduce 寫出 string 就 new Text(),寫出整數就 new IntWritable()