hadoop安裝中遇到的問題

  1. namenode datanode上五大服務都啟動了,但datanode無法訪問namenode的9000端口,log上顯示namenode在127.0.0.1:9000 listen
    解決辦法:參考帖子
  2. 反復格式化namenode后datanode無法啟動
    dataNode 無法啟動是配置過程中最常見的問題,主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。建議查看datanode上面的log信息。解決辦法:修改每一個datanode上面的CID(位于dfs/data/current/VERSION文件夾中)使兩者一致。
  3. nodemanager無法啟動
    yarn-site.xml可用物理內存(yarn.nodemanager.resource.memory-mb)配置
  4. container is running beyond physical memory limits, or beyond virtual memory limits
    修改yarn-site.xml 增加以下屬性
<property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
 </property>
 <property>
     <name>yarn.nodemanager.vmem-pmem-ratio</name>
     <value>4</value>
     <description>Ratio between virtual memory to physical memory when setting 
         memory limits for containers</description>
   </property> 
   <property>
       <name>yarn.nodemanager.resource.memory-mb</name>
       <value>1024</value> 
   </property> 
   <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>128</value>
   </property>

參考帖子

  1. 其他
    其他人的問題集錦
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容