發簡信
IP屬地：浙江
簡介 由于Spark應用寫數據到Hive表時，容易因為shuffle數過多導致生成過多小文件，影響集群存儲利用率；故需要一個能避免讀寫沖突的小文...
之前使用過foreach單條處理的MySQLSink，可能導致連續開關連接，性能較差，故通過prepareStatement的addBatch批...
Spark on yarn 執行流計算時，如果流掛了，沒有提醒會導致實時指標計算停滯，為了保證流的7/24運行，需要有一個能監控Spark on...
報錯:WARN TaskSetManager: Lost task 3.0 in stage 17.0 (TID 2071, node135.b...
問題-通過SQL在Impala和Mysql從庫分別統計已經同步的表數據時，發現同一天的數據量不相同，進而發現Impala讀取kudu的時間列時為...
問題-Delta文件是狀態文件不能簡單合并，否則可能導致狀態無法恢復。狀態文件多，主要是流和流join導致。根本原因-Spark的CheckPo...
1.foreachBatchspark2.4以后可以直接使用foreachBatch調用sparksql支持的jdbc批量寫mysql,如下： ...