用慣了PaaS,再回去搭Cloudera一言難盡啊

最近碰到一個(gè)客戶要用IaaS搭建Cloudera,本來還想這產(chǎn)品這么多年也應(yīng)該成熟了,安裝總歸三下五除二就能搞定吧,沒想到用習(xí)慣了HDInsight之后,再回去搞這個(gè),還真有些不習(xí)慣。而且CDH都已經(jīng)這么多年了,沒想到bug也還真是不少啊,Troubleshooting起來也費(fèi)勁。

搭建本身倒沒什么好說的,就是看著這么多步驟有點(diǎn)惆悵。
https://www.cloudera.com/documentation/enterprise/6/6.1/topics/install_cm_cdh.html
準(zhǔn)備集群,關(guān)掉SELinux關(guān)掉防火墻,配好Host NTP,大概有下面這么多步:


準(zhǔn)備完了開始安裝,又大概有這么多步,手動驚恐。

這么多步驟不知道為什么不搞成一個(gè)wizard..照理很多都是可以腳本搞定的,尤其是數(shù)據(jù)庫那塊,不知道為什么明明給了他數(shù)據(jù)庫信息,還要自己去創(chuàng)建數(shù)據(jù)庫給權(quán)限(一不小心還給錯一個(gè),troubleshooting了半年),此刻無比懷念一個(gè)命令下去然后去倒杯咖啡等安裝完成的HDInsight

好了總算完成了安裝,他們要Hive on Spark,那么試一下吧,火速弄完TPC-DS的數(shù)據(jù),開始倒到Hive表里,剛跑兩分鐘,OOM了。。我這可是64G內(nèi)存的機(jī)器啊。。一看默認(rèn)配置。。只給了Spark 1G,有點(diǎn)黑人懵圈。當(dāng)然這都是小問題~,改完之后總算成功跑起來了。

數(shù)據(jù)每天導(dǎo)入怎么搞呢,他們的習(xí)慣是Hue里面去建Oozie的Workflow. 好,三下五除二去Hue里配好一個(gè)sqoop任務(wù)的workflow開始跑起來。好了,又報(bào)錯了。


這個(gè)Error Message。。看了半天Error Log完全沒有任何有用的信息。。
最后搜了好久,居然是一個(gè)Bug
https://issues.cloudera.org/browse/HUE-8717

看完他的Fix目瞪狗呆,并不是我的配置有什么特殊,而是他的一段python代碼寫錯了,Hue配置一個(gè)Sqoop的workflow不是一個(gè)基本的功能么,給我的感覺,好像產(chǎn)品發(fā)布之前都沒測試這個(gè)。
好按照他的Fix來,要升級Hue到4.4,那么問題來了,怎么升


看到這個(gè)消息我的內(nèi)心是絕望的。。

怎么辦,只能按照這個(gè)bug上提供的Fix手動workaround,好在并不繁瑣。改完后大功告成啦。。

此刻無比懷念傻瓜安裝,碰到問題可以開工單的HDInsight.

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • 課程一、大數(shù)據(jù)運(yùn)維之Linux基礎(chǔ)本部分是基礎(chǔ)課程,幫大家進(jìn)入大數(shù)據(jù)領(lǐng)域打好Linux基礎(chǔ),以便更好地學(xué)習(xí)Hado...
    101之歌閱讀 1,503評論 0 2
  • service cloudera-scm-server status /opt/cloudera/cm/lib ...
    nightwish夜愿閱讀 1,364評論 0 3
  • Impala是Cloudera公司主導(dǎo)開發(fā)的新型查詢系統(tǒng),它提供SQL語義,能查詢存儲在Hadoop的HDFS和H...
    時(shí)待吾閱讀 2,497評論 0 8
  • 你被確診為抑郁癥的那天是什么樣的天氣? 我的那天是個(gè)風(fēng)和日麗的好日子,陽光耀眼的讓人想哭。在持續(xù)73天的情緒低迷后...
    戳不破的大泡泡閱讀 343評論 0 1
  • 百科全書記載“大堡礁,是世界最大最長的珊瑚礁群,位于南半球,它縱貫于澳洲的東北沿海,因?yàn)槎啻伟l(fā)現(xiàn)海洋物種被列為世界...
    lily的簡書閱讀 1,108評論 1 1