IP屬地：安徽
-
SparkSql寫Mysql報錯：java.sql.BatchUpdateException: Incorrect string value: '\xE5\xBC\x80\xE5\x8F\x91...一、報錯信息 SparkSql代碼寫入Mysql邏輯如下，代碼會自動生成目標Mysql表，報錯如圖： 報錯信息： 二、解決方案 原因：代碼自動生...
-
org.apache.spark.sql.catalyst.catalog.ExternalCatalog as super class
一、報錯 在進行SparkSql代碼調(diào)試時，代碼確認無誤執(zhí)行報如下錯誤：Exception in thread "main" java.lang...
-
org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V
一、報錯 在進行SparkSql代碼調(diào)試時，不同的項目相同的pom.xml依賴相同的代碼，其中一個項目正常執(zhí)行，另一個項目報錯如下：Except...
-
Spark讀寫HBase表數(shù)據(jù)
一、Maven依賴 二、Spark代碼
-
Spark廣播變量應用
一、廣播變量 1、廣播變量的優(yōu)點 不需要每個task帶上一份變量副本，而是變成每個節(jié)點的executor存一份副本。這樣的話， 就可以讓變量產(chǎn)生...
-
Spark讀寫mysql表數(shù)據(jù)進行統(tǒng)計分析
一、Mysql數(shù)據(jù)樣例 數(shù)據(jù)表為job_details，數(shù)據(jù)樣例如下： 需求1：求取每個搜索關鍵字search_key下的職位數(shù)量，并將結果入庫...
-
Hive on MapReduce 性能優(yōu)化一、MapReduce完整流程 MapTask工作機制 ReduceTask工作機制 MapTask工作機制： （1）Read階段：MapTas...
-
Hive處理json數(shù)據(jù)
一、測試數(shù)據(jù) 該數(shù)據(jù)采用json格式存儲：id：代表當前用戶微博的id；ids：代表當前微博用戶關注其他微博用戶的id列表；total_numb...
-
Python讀取EXCEL表結構生成DDL一、說明 近期工作中需要對Excel維護的數(shù)據(jù)庫表表結構進行Oracle的DDL整理，故編寫如下腳本。該腳本識別固定Excel文件，讀取每個sh...