本文基于hbase-1.3.0源碼 1. 前言 HBase coprocessor(協處理器)按照工作方式分為兩種：endpoint和observer。 endpoint類似...
發簡信
IP屬地：廣東
-
HBase學習 - Coprocessor
-
maven插件(5) - antrun
1. antrun 簡述 通過antrun插件可以在maven中運行ant task， 具體參考antrun 2. 使用antrun 按照如下格式使用antrun 2.1 一...
-
Spark學習、項目使用相關。
-
IDEA遠程調試Spark1.前言 本文講述如何使用IDEA遠程調試spark，這里所說的調試spark包括： 調試spark應用程序，也就是使用spark算子編寫的driver applicatio...
-
Spark任務提交過程1. 前言 本文主要講述一下我對spark任務調度過程的理解，必要的地方會配合源碼。 2 . Spark任務調度 2.1 基本概念 Job用戶提交的spark應用程序中任何一...
-
-
JDK并發包 - FutureTask1. FutureTask FutureTask實現了Runnable和Future接口，它主要用于包裝真實callable或runnable的task，其run方法內運行包...
-
Netty 使用Zero Copy傳輸文件
1. Zero Copy傳輸 一般情況下，將服務器上的文件傳輸到客戶端時，文件在服務端會經歷如下copy過程：調用read方法從硬盤讀文件到內核空間，從內核空間讀到用戶內存空...
-
HBase學習 - HFile格式 以及 HFile的讀寫1.前言 HBase的數據最終是以HFile的形式存儲在HDFS中的，HBase中HFile有著自己的格式。一次memstore的flush會產生一個HFile，一次Comp...
-
spark如何只在map端做完成reduce的工作
1. 前言 有時候需要按照key去做reduce操作時，一般情況下調用reduceByKey就可以完成按照key reduce的任務，reduceByKey的調用就必然意味...
-
maven插件(4) - 項目打包插件
1. maven-assembly-plugin 參考maven-assembly-plugin, maven-assembly-plugin這個插件可用來打可發布可獨立運行...
-
maven插件(3) - scala插件scala-maven-plugin
1. scala-maven-plugin 這個插件是用來讓maven能夠編譯、測試、運行scala項目的，使用文檔參考scala-maven-plugin 1. 1使用插件...
-
maven插件(2) - spring boot 插件
1. Spring Boot Maven 插件 Spring Boot的maven插件能夠以maven命令行的方式提供對spring boot 應用打包和運行的支持。 使用s...
-
maven插件(1) - 使用插件
1. 前言 Maven is - at its heart - a plugin execution framework; all work is done by plugi...
-
Spark Sql 之 cacheTable
1. 前言 spark sql中使用DataFrame/DataSet來抽象表示結構化數據（關系數據庫中的table），DataSet上支持和RDD類似的操作，和RDD上的操...
-
-
JUC之AbstractQueuedSynchronizer
1. 前言 AbstractQueuedSynchronizer(AQS)基于FIFO等待隊列以及CAS操作實現了基礎了同步框架，JUC中包括ReentrantLock，Re...
-
Logback - SiftingAppender1. 作用 Logback將寫日志事件的任務委托給appender組件完成，SiftingAppender顧名思義就是篩選日志事件，具體點就是： 對于Logback委托給它的...
