發(fā)簡(jiǎn)信
IP屬地：上海
-
Spark Skew 的一種姿勢(shì)fact_table_optimized = select concat(key,'_', floor(rand(123456)*19)) as...
-
spark job hangs 20+ hour 的排查上週一個(gè) job 莫名奇妙的hang 在那里 20+ hour,9001 個(gè)tasks 完成了8999個(gè)，還有2個(gè)未完成。 點(diǎn)進(jìn)去看task p...
-
Spark task的輸入太大如何分割？上周調(diào)優(yōu)一個(gè)job 的時(shí)候發(fā)現(xiàn)一個(gè)join 意外的耗時(shí)間，如圖上一個(gè)join的shuffle操作就耗時(shí)1.2h. Input 才91GB, s...
-
由于小文件產(chǎn)生的spark job performance問題上周在調(diào)優(yōu)一個(gè)job ,發(fā)現(xiàn)spark history 出現(xiàn)一個(gè)重復(fù)出現(xiàn)的job , 這個(gè)job 寫著Listing leaf files a...
-
Java agent什么是agent?agent 能做什么 https://docs.oracle.com/javase/7/docs/api/java/lang/...
-
Not in subquery and Not exists subquery in Spark SQL在本文中，您將了解. 1. exists and in 子查詢的在mysql中的區(qū)別。 2. exists and in 子查詢?cè)趕parksq...
-
spark2.3 跑不過去的join 排查上週跑spark job 遇到 這樣一個(gè)語句 select cc_base_part1.*,cc_base_part1.nsf_cards_ra...
-
幼兒園20181229觀摩
之所以起這個(gè)標(biāo)題，還是希望放好自己的心態(tài)，公辦幼兒園的幼兒老師如果小朋友出問題還是最后家長解決。 被老師說了很多回家，總結(jié)幾點(diǎn) 1。 幼兒園要求...
-
〔一日一整理〕2017.11.15整理人：zhangliyun 把牙刷杯豎置了，放在牙刷架上。桌上只留下牙膏，洗面奶，洗衣液，洗手液。桌子上東西不能多，多了要變成兒子玩具。 試了...