[Java]部署測試HBase小結(jié)

前兩天到現(xiàn)場的測試環(huán)境部署HBase生命周期(實(shí)際上也是部署了2.4版本進(jìn)行測試)問題還是有點(diǎn)多的,簡單記錄一些現(xiàn)在還記得的問題與解決辦法。

1.開始遇到了Kerberos...只想說這是個坑,拿到了keytab,krb5.conf還是沒用,最后卡在principal在regExp [/@] 切分時報(bào)錯,_HOST有問題,查不到具體解決辦法,只好看了下Hadoop - SecurityUtil的源碼,報(bào)錯的地方見getServerPrincipal(String principalConfig, InetAddress addr)方法,找不到本機(jī)HostName,但是自己寫了個InetAddress.getLocalHost().getCanonicalHostName()
(就是SecurityUtil.getLocalHostName()方法)測了一把,發(fā)現(xiàn)能正確取到HostName...整個人懵逼,研究了許久,實(shí)在沒法處理,于是放棄Kerberos
附上hadoop-SecurityUtil源碼:SecurityUtil.java


2.放棄Kerberos后走回正道,想著先寫個簡單的java API去list一下有哪些表,測試項(xiàng)目就直接取了集群隨便一個datanode上的${HBASE_HOME}/lib下所有jar與hadoop-core.jar,hadoop-hdfs.jar,取了${HBASE_HOME}/conf/hbase-site.xml,打包后放到服務(wù)器,跑!悲催,hbase-site.xml下的hbase.rootdir是hdfs路徑(hdfs://xxxx/hbase/lib),報(bào)Unknown Host,想想覺得奇怪,一般Unknown Host都是因?yàn)闆]有正常配置/etc/hosts,解析hostname時不知道對應(yīng)ip才報(bào)這個錯,并且在報(bào)錯的時候也用hadoop fs -ls hdfs://xxxx能正常讀取hdfs,baidu/google都查了很久,貌似沒人遇到過這種問題...問了同事后,讓我把集群core-site.xml,hdfs-site.xml一起丟到classpath,還是沒用!不知道哪里靈光一現(xiàn),感覺這肯定是hdfs這塊出了問題,于是乎把服務(wù)器hadoop/share/hadoop*jar全加到項(xiàng)目lib...(不一定全部需要,但全加了肯定有用...)再測一把,嗯嗯,破費(fèi)好吧....效果全等于hbase shell list


3.測試沒問題后,就把自己的代碼往服務(wù)器丟了...部署過程也是坎坷。logback感覺抽了,tomcat的catalina.out沒日志....沒日志....沒日志....這要我怎么測。看了一萬遍Server.xml頭疼(因?yàn)槎丝谝灿悬c(diǎn)問題,服務(wù)器很多tomcat,甚至想直接su了殺了那個占我8080/8005/...端口的家伙...,但所有服務(wù)器root都改了強(qiáng)密碼...keygen這種玩意生成的密碼,就算了吧...)。沒有用自己的tomcat,沒有用服務(wù)器現(xiàn)成的tomcat,因?yàn)椴恢绖e人的server.xml到底改了什么(順帶吐槽RHEL沒有配置過的vim真難用...難道是被別人alias vim=vi了...)從apache搞了最新的tomcat8,war包丟進(jìn)去,簡單改了下content.xml,./start.sh && tailf ../logs/catalina.out ...還是沒有日志,我x了x了。。。用curl測了下靜態(tài)登錄頁面,也是正常的。萬能的同事又來了...把logback.xml從WEB-INF/classes/丟到了WEB-INF/,但還是沒用...
換回了自己的tomcat,啟動,報(bào)錯....日志比較友好docBase="C:\Users\L\work\apache-tomcat-8.0.38\wtpwebapps\dacp-me-deploy"不存在,那必須啊...改成了服務(wù)器上的絕對路徑,還是報(bào)錯....直接注釋掉整個<Context docBase="xxx"/>啟動tomcat...瞬間啟動完畢,容器里都沒有app的那種瞬間完成,原來是webapps里面沒東西...把wtpwebapps下的項(xiàng)目復(fù)制過來,一切over......啟動日志有了,log也有了...


部署測試后記
????自己代碼也有一些邏輯問題,一直是閉門造車,但卻做不到出門合轍。果然是騾子是馬,拉出來溜溜就知道了...不過說實(shí)話,自己本機(jī)之前搭的偽分布式都沒完全搞定,直接上完全分布式的確有點(diǎn)不明智,不過再不搞就算拖工期了啊...(捂臉...)
????所以想要能直接在正式hadoop環(huán)境上搞點(diǎn)什么,自己也要有完全分布式的環(huán)境,不說做到有一個完全鏡像與生產(chǎn)的測試環(huán)境,至少核心部分要一樣啊....

第一點(diǎn)Kerberos里面的確是沒時間研究了,時間不允許,有空要看看源碼,到底怎么報(bào)錯的...
第二點(diǎn)對于tomcat的理解也不夠深刻,平時處于只是能用的階段,到了真的出問題的時候,哎。。書到用時方恨少...準(zhǔn)備再寫一篇關(guān)于Tomcat的博文,時間再定吧...

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,825評論 6 546
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,814評論 3 429
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,980評論 0 384
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 64,064評論 1 319
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 72,779評論 6 414
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 56,109評論 1 330
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,099評論 3 450
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 43,287評論 0 291
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,799評論 1 338
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 41,515評論 3 361
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 43,750評論 1 375
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,221評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,933評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,327評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,667評論 1 296
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,492評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 48,703評論 2 380

推薦閱讀更多精彩內(nèi)容