2. Hadoop之旅——集群篇

添加DataNode

對于新添加的DataNode節點，需要啟動datanode進程，從而將其添加入集群

  1. 在新增的節點上，運行sbin/hadoop-daemon.sh start datanode即可
  2. 然后在namenode通過hdfs dfsadmin -report查看集群情況
  3. 最后還需要對hdfs負載設置均衡，因為默認的數據傳輸帶寬比較低，可以設置為64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可
  4. 默認balancer的threshold為10%，即各個節點與集群總的存儲使用率相差不超過10%，我們可將其設置為5%
  5. 然后啟動Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可

添加Nodemanager

由于Hadoop 2.X引入了YARN框架，所以對于每個計算節點都可以通過NodeManager進行管理，同理啟動NodeManager進程后，即可將其加入集群

  • 在新增節點，運行sbin/yarn-daemon.sh start nodemanager即可
    在ResourceManager，通過yarn node -list查看集群情況

錯誤集

  1. Journal Storage Directory (/path/of/journal) not formatted
    • Type 1:
      當你從異常信息中看到JournalNode not formatted，如果在異常中看到Journal節點都提示需要格式化JournalNode。這個時候如果是新的集群，可以重新格式化NameNode，同時JournalNode的目錄也會被格式化
    • Type 2:
      如果只是其中幾個Journal結點出現此異常，可以檢查Journal結點相應的目錄是否有權限。
      并且，從正常的Journal Node拷貝內容到異常的Journal結點
    • Type 3:
      如果是從普通的HDFS更新到HA HDFS，可以使用：
      hdfs namenode -initializeSharedEdits
      也就是你可以不用格式化NameNode就可以格式化你的JournalNode目錄

鏈接

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容