[記錄]apache-kylin-2.6.0-bin-cdh60構建cube時遇到數據集為空就構建失敗的問題

最近在apache-kylin-2.6.0-bin-cdh60構建cube時, 經常遇到構建失敗的情況, 如下圖:



經多次嘗試,發現只要構建時數據集為空,就必然出現這個問題. 查看MR結果,如下圖:


簡單說就是Map進程請求的內存(配置mapreduce.map.memory.mb)超過了yarn.scheduler.maximum-allocation-mb的值.
在CDH中查看這個值:


而kylin默認的mapreduce.map.memory.mb的值為3G.
在kylin_job_conf_inmem.xml中修改mapreduce.map.memory.mb的值為:

    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
        <description></description>
    </property>

不需要重啟kylin,重新提交構建任務即可.
這時出現另一個問題:


這個bug可參考這個issue.
升級到2.6.1版本,解決問題.

參考:
http://www.lxweimin.com/p/fec05b330f1a
https://stackoverflow.com/questions/25878458/rhadoop-reduce-capability-required-is-more-than-the-supported-max-container-cap

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。