發(fā)簡信
IP屬地：天津
-
JMeter之模擬用戶登錄后進行接口壓測本文記錄了使用JMeter來模擬用戶登錄，并從登錄接口返回的JSON數(shù)據(jù)提取Token供其它線程組使用。 主要內(nèi)容： 1.登錄提取token設(shè)置...
-
Sqoop之環(huán)境搭建
本文介紹了使用Sqoop導(dǎo)入MYSQL數(shù)據(jù)到Hive&Hbase之中。 主要內(nèi)容： 1.下載 1.下載 下載地址 2.安裝 2.1.解壓 2.2...
-
Hbase之使用Phoenix連接
本文介紹了如何使用Phoenix來連接Hbase并完成增刪改查 1.概述 Phoenix作為應(yīng)用層和HBASE之間的中間件,以下特性使它在大數(shù)據(jù)...
-
MyCat實現(xiàn)分庫分表讀寫分離
本文介紹了如何使用MyCat中間件來實現(xiàn)分庫分表、讀寫分離等功能。 1.安裝 下載地址 http://mycat.io/ 下載完成解壓即可。 2...
-
Hive之外部分區(qū)表本文介紹了如何在Hive里新建一個外部分區(qū)表并加載數(shù)據(jù) 1.建表 新建一個名為external_blog_record的數(shù)據(jù)庫表并制定分區(qū)參數(shù)d...
-
SparkSQL之雙重Group解決數(shù)據(jù)傾斜
本文介紹了如何使用自定義UDF來給key新增隨機數(shù)前綴，并使用雙重Group來解決數(shù)據(jù)傾斜。 主要內(nèi)容： 1.自定義UDF 2.數(shù)據(jù)流程 3.S...
-
SparkSQL之自定義UDF
當(dāng)SparkSQL里內(nèi)置的函數(shù)無法滿足我們業(yè)務(wù)需求時，我們可以通過自定義UDF來實現(xiàn)。 1、自定義ConcatLongStringUDF 這里自...
-
Spark之自定義AccumulatorV2
本文介紹如何使用Spark2中自定義累加器來實現(xiàn)數(shù)據(jù)的統(tǒng)計。 Spark2.x之后，之前的的accumulator被廢除，用Accumulato...
-
Maven常用配置
本文介紹了使用Maven作為構(gòu)建工具的常用配置，包括指定jdk版本，jar包和依賴分開打包，多環(huán)境打包，配置私服，發(fā)布到私服等配置。 主要內(nèi)容：...