本次Hadoop學習重點是HDFS,所以會從以下方面介紹:
-
HDFS基礎
- Hadoop基礎架構
- HDFS假設及目標
- HDFS基本概念(塊、fsImage、editlog、復本)
- NameNode(存儲內容及更新)及DataNode
- FsImage及EditLog
- 復本
- 安全模式
-
HDFS文件
- 操作方式
- 文件讀取
- 文件寫入
- 壓縮
- 序列化
-
Hadoop集群搭建
- 配置(環境配置、Hadoop基本配置、HDFS基本配置)
- HDFS守護進程關鍵配置(網絡、端口等)
- 運維
- 主輔NameNode切換
- 常用工具
- 監控
- 日常維護
- DataNode增刪
- 升級
Hadoop內容較多,可能無法一次性寫完,會持續補充。
以后也會寫一寫Hadoop其他方面(如Yarn、MapReduce)的內容。