發(fā)簡信
IP屬地：澳門
-
Phoenix從4.7升級到4.14之前有過一篇文章講述CDH5.16.1如何整合phoenix，但是，但是，但是，這個版本整合的是phoenix4.7，這個版本無法使用分頁查詢，...
-
采坑：java調(diào)shell腳本執(zhí)行hive語句最近有個需求，就是SpringBoot提供一個web接口給業(yè)務(wù)方，業(yè)務(wù)方傳入?yún)?shù)調(diào)接口，接口去執(zhí)行hive離線計算，一般可能是說直接用jdbc去...
-
記一次hive調(diào)優(yōu)之旅我遇到的業(yè)務(wù)場景是統(tǒng)計10個維度的用戶畫像數(shù)據(jù)，之前我是放在一個shell腳本里串行跑，總共跑下來差不多要9個多小時：從數(shù)據(jù)預(yù)處理、維度統(tǒng)計、數(shù)...
-
MapReduce將HDFS數(shù)據(jù)清洗到多個Hbase表中最近一直在對歷史數(shù)據(jù)進行清洗，原始數(shù)據(jù)是純數(shù)據(jù)格式，現(xiàn)在要清洗到hbase中，方便后期跟hive進行整合查詢。。可能現(xiàn)在基本上都使用spark來...
-
hive將多行查詢成一個json字符串
今天在用hive做一個離線統(tǒng)計的任務(wù)，既然是統(tǒng)計，那就是某個ID可能在某個維度有多個值，比如某個部門男女人數(shù)分別是多少。 部門ID性別人數(shù)000...
-
Spark讀取HDFS數(shù)據(jù)輸出到不同的文件
最近有一個需求是這樣的：原來的數(shù)據(jù)是存儲在MySQL，然后通過Sqoop將MySQL的數(shù)據(jù)抽取到了HDFS集群上，抽取到HDFS上的數(shù)據(jù)都是純數(shù)...
-
大數(shù)據(jù)之CDH5.16.1集成PhoenixCDH中預(yù)裝的hbase是沒有Phoenix的，需要我們手動來集成，下面我們就簡單的記錄一下筆者集成的流程。 1下載parcels http:/...
-
iostat對磁盤IO情況實時監(jiān)控kafka集群搭建完成后，對集群進行壓測。這樣的話，就需要實時查看kafka集群機器的IO情況。那怎么辦呢？其實linux是有一個命令來做這個事...
-
大數(shù)據(jù)之CDH5.16.1集成Tez0.9.2俗話說：磨刀不誤砍柴工。。上兩篇中，我們介紹完了CDH環(huán)境的基本搭建。在這篇中，我們講述對hive的一個優(yōu)化措施之一：執(zhí)行引擎tez。在HDP中...