發簡信
IP屬地：福建
-
spark程序jar與spark lib jar沖突，加載順序
用戶編寫的spark程序打包成jar后提交到yarn執行時，經常會遇到jar包中明顯存在某個類，但任務提交到yarn運行時卻找不到類或方法（ja...
-
maven 編譯錯誤 org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1)
最近新接觸scala代碼的編寫、編譯，使用mvn編譯項目時經常碰到“ExecuteException: Process exited with ...
-
Janusgraph Spark yarn-client模式批量導入配置
Janusgraph是一個分布式圖數據庫，繼承自titan。Janusgraph的批量導入（bulkload）默認使用spark的local模式...
-
spark1.5.x升級spark2.1.1代碼改動
背景 公司一直用spark1.5.2, 最近將其升級至spark2.1.1。本文的總結升級過程需要改動的地方。涉及了spark普通項目和spar...
-
Java synchronized 實現唯一單例在初始化數據庫連接、hbase連接時，我們通常希望復用連接，而不是每次使用時都new 一個實例。也就是說一個hbase表名對應一個hbase c...
-
hadoop distcp hftp hdfs跨集群拷貝常見問題歸總在工作中遇到部門間數據合作，需跨不同版本集群拷貝數據，從hadoop 2.6.0-cdh5.7.0 拷貝數據到hadoop 2.7.1， 記錄所...
-
KafKa java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V問題 在初用spark streaming 1.5.2 自帶的low level 連接kafka例子（JavaDirectKafkaWordCo...
-
spark 資源大小分配與并行處理起因 寫這篇博客的起因我在跑一個spark job時，有時能跑通，有時跑不通。程序的需求是對比兩個hbase表。程序邏輯很簡單，分別從兩個hba...