本文為 Spark 2.0 源碼分析筆記，其他版本可能稍有不同
創建、分發 Task一文中我們提到 TaskRunner（繼承于 Runnable） 對象最終會被提交到 Executor 的線程池中去執行，本文就將對該執行過程進行剖析。
該執行過程封裝在 TaskRunner#run() 中，搞懂該函數就搞懂了 task 是如何執行的，按照本博客慣例，這里必定要來一張該函數的核心實現：
需要注意的是，上圖的流程都是在 Executor 的線程池中的某條線程中執行的。上圖中最復雜和關鍵的是 task.run(...) 以及任務結果的處理，也即怎么把各個 partition 計算結果匯報到 driver 端。
task 結果處理這一塊內容將另寫一篇文章進行說明，下文主要對 task.run(...) 進行分析。Task 類共有兩種實現：
- ResultTask：對于 DAG 圖中最后一個 Stage（也就是 ResultStage），會生成與該 DAG 圖中哦最后一個 RDD （DAG 圖中最后邊）partition 個數相同的 ResultTask
- ShuffleMapTask：對于非最后的 Stage（也就是 ShuffleMapStage），會生成與該 Stage 最后的 RDD partition 個數相同的 ShuffleMapTask
在 Task#run(...) 方法中最重要的是調用了 Task#runTask(context: TaskContext) 方法，來分別看看 ResultTask 和 ShuffleMapTask 的實現：
ResultTask#runTask(context: TaskContext)
override def runTask(context: TaskContext): U = {
// Deserialize the RDD and the func using the broadcast variables.
val deserializeStartTime = System.currentTimeMillis()
val ser = SparkEnv.get.closureSerializer.newInstance()
//< 反序列化得到 rdd 及 func
val (rdd, func) = ser.deserialize[(RDD[T], (TaskContext, Iterator[T]) => U)](
ByteBuffer.wrap(taskBinary.value), Thread.currentThread.getContextClassLoader)
_executorDeserializeTime = System.currentTimeMillis() - deserializeStartTime
//< 對 rdd 指定 partition 的迭代器執行 func 函數
func(context, rdd.iterator(partition, context))
}
實現代碼如上，主要做了兩件事：
- 反序列化得到 rdd 及 func
- 對 rdd 指定 partition 的迭代器執行 func 函數并返回結果
func 函數是什么呢？我舉幾個例子就很容易明白：
- 對于
RDD#count()的 ResultTask 這里的 func 真正執行的是def getIteratorSize[T](iterator: Iterator[T]): Long，即計算該 partition 對應的迭代器的數據條數 - 對于
RDD#take(num: Int): Array[T]的 ResultTask 這里的 func 真正執行的是(it: Iterator[T]) => it.take(num).toArray，即取該 partition 對應的迭代器的前 num 條數據
也就是說，func 是對已經計算獲得的 RDD 的某個 partition 的迭代器執行在 RDD action 中預定義好的操作，具體的操作根據不同的 action 不同而不同。而這個 partition 對應的迭代器的獲取是通過調動 RDD#iterator(split: Partition, context: TaskContext): Iterator[T] 去獲取的，會通過計算或從 cache 或 checkpoint 中獲取。
ShuffleMapTask#runTask(context: TaskContext)
與 ResultTask 對 partition 數據進行計算得到計算結果并匯報給 driver 不同，ShuffleMapTask 的職責是為下游的 RDD 計算出輸入數據。更具體的說，ShuffleMapTask 要計算出 partition 數據并通過 shuffle write 寫入磁盤（由 BlockManager 來管理）來等待下游的 RDD 通過 shuffle read 讀取，其核心流程如下：
共分為四步：
- 從 SparkEnv 中獲取 ShuffleManager 對象，當前支持 Hash、Sort Based、Tungsten-sort Based 以及自定義的 Shuffle（關于 shuffle 之后會專門寫文章說明）
- 從 ShuffleManager 中獲取 ShuffleWriter 對象 writer
- 得到對應 partition 的迭代器后，通過 writer 將數據寫入文件系統中
- 停止 writer 并返回結果
參考：《Spark 技術內幕》
歡迎關注我的微信公眾號：FunnyBigData
