10篇文章 · 18930字 · 7人關注
-
Spark任務提交過程1. 前言 本文主要講述一下我對spark任務調度過程的理解，必要的地方會配合源碼。 2 . Spark任務調度 2.1 基本概念 Job用戶提...
-
spark如何只在map端做完成reduce的工作
1. 前言 有時候需要按照key去做reduce操作時，一般情況下調用reduceByKey就可以完成按照key reduce的任務，redu...
-
Spark Sql 之 cacheTable
1. 前言 spark sql中使用DataFrame/DataSet來抽象表示結構化數據（關系數據庫中的table），DataSet上支持和R...
-
Spark內存管理1. 存儲總體結構 Spark存儲結構分為兩層：內存存儲和磁盤存儲，其中內存主要用作緩存以及任務計算時期數據存儲，磁盤用在內存存儲不足時使用。E...
-
spark之transform和action1. tranformation mapmap實現如下: map接收一個函數f為參數，該函數接收參數類型T，然后返回類型U。當前RDD數據類型T...
-
Spark源碼閱讀 (一) - Spark 初始化
1. 從word count程序開始 代碼如下： 1.1 創建SparkConf SparkConf持有spark的運行時的配置信息，不給Spa...
-
Spark job提交過程本文基于spark2.11 1. 前言 1.1 基本概念 RDD關于RDD已經有很多文章了，可以參考一下理解Spark的核心RDD 依賴依賴分為...
-
Spark數據傳輸本文基于spark 2.11 1. 前言 在spark shuffle write 和read一文中3.1.1 節創建ShuffleBlockF...
-
Spark Shuffle Write 和Read本文基于spark源碼2.11 1. 前言 shuffle是spark job中一個重要的階段，發生在map和reduce之間，涉及到map到r...
