發簡信
IP屬地：河北
-
JMeter之模擬用戶登錄后進行接口壓測本文記錄了使用JMeter來模擬用戶登錄，并從登錄接口返回的JSON數據提取Token供其它線程組使用。 主要內容： 1.登錄提取token設置...
-
Sqoop之環境搭建
本文介紹了使用Sqoop導入MYSQL數據到Hive&Hbase之中。 主要內容： 1.下載 1.下載 下載地址 2.安裝 2.1.解壓 2.2...
-
Hbase之使用Phoenix連接
本文介紹了如何使用Phoenix來連接Hbase并完成增刪改查 1.概述 Phoenix作為應用層和HBASE之間的中間件,以下特性使它在大數據...
-
MyCat實現分庫分表讀寫分離
本文介紹了如何使用MyCat中間件來實現分庫分表、讀寫分離等功能。 1.安裝 下載地址 http://mycat.io/ 下載完成解壓即可。 2...
-
Hive之外部分區表本文介紹了如何在Hive里新建一個外部分區表并加載數據 1.建表 新建一個名為external_blog_record的數據庫表并制定分區參數d...
-
SparkSQL之雙重Group解決數據傾斜
本文介紹了如何使用自定義UDF來給key新增隨機數前綴，并使用雙重Group來解決數據傾斜。 主要內容： 1.自定義UDF 2.數據流程 3.S...
-
SparkSQL之自定義UDF
當SparkSQL里內置的函數無法滿足我們業務需求時，我們可以通過自定義UDF來實現。 1、自定義ConcatLongStringUDF 這里自...
-
Spark之自定義AccumulatorV2
本文介紹如何使用Spark2中自定義累加器來實現數據的統計。 Spark2.x之后，之前的的accumulator被廢除，用Accumulato...
-
Maven常用配置
本文介紹了使用Maven作為構建工具的常用配置，包括指定jdk版本，jar包和依賴分開打包，多環境打包，配置私服，發布到私服等配置。 主要內容：...