這篇文章主要介紹 spark 的相關名詞概念，和作業的執行流程，任務分配，希望通過這篇文章可以幫助大家對 spark 有一個更深層次的的理解。
名詞解釋：
1. Standalone模式下存在的角色。
Client：客戶端進程，負責提交作業到Master。
Master：Standalone模式中主控節點，負責接收Client提交的作業，管理Worker，并命令Worker啟動Driver和Executor。
Worker：Standalone模式中slave節點上的守護進程，負責管理本節點的資源，定期向Master匯報心跳，接收Master的命令，啟動Driver和Executor。
Driver： 一個Spark作業運行時包括一個Driver進程，也是作業的主進程，負責作業的解析、生成Stage并調度Task到Executor上。包括DAGScheduler，TaskScheduler。
Executor：即真正執行作業的地方，一個集群一般包含多個Executor，每個Executor接收Driver的命令Launch Task，一個Executor可以執行一到多個Task。
2.作業相關的名詞解釋
Job: 在用戶程序中, 每次調用Action函數都會產生一個新的job, 也就是說一個Action都會生成一個job.
Stage：一個Spark作業一般包含一到多個Stage。
Task：一個Stage包含一到多個Task，通過多個Task實現并行運行的功能。
DAGScheduler： 實現將Spark作業分解成一到多個Stage，每個Stage根據RDD的Partition個數決定Task的個數，然后生成相應的Task set放到TaskScheduler中。
TaskScheduler：實現Task分配到Executor上執行。
3、spark 根據 job 劃分 stage 的過程
構建RDD之間的依賴關系. 具體來說依賴有寬窄之分, 如果子RDD中的每個分區依賴常數個父RDD中的分區, 我們把這種依賴叫做窄依賴; 如果子RDD中的每個數據分片依賴父RDD的所有分片, 我們把這種依賴叫做寬依賴.
在這兒我們在引入一個新的詞匯lineage
, 在spark中每個RDD都攜帶自己的lineage. 而lineage就是通過RDD之間的依賴來表示的.
wide-narrow-dependency
我們通過這幅圖可以大概看一下寬窄依賴到底是這么回事. 圖中矩形框圍住的部分是RDD, 實心小矩形是Partition.
接下來我們看一下Spark是如何構建DAG的. 當用戶調用Action函數時, 調度器會逆向的遍歷該RDD的lineage, 每個stage會嘗試盡可能多包含那些連續的窄依賴. 如果當前的Stage向上回溯的過程中遇到了寬依賴, 則當前Stage結束, 一個新的Stage被構建. 第二個Stage是第一個Stage的parent. 還有一種情況也會結束當前Stage, 那就是那個partition已經被計算出來, 換存在內存中, 這種情況下我們就不必作多余的計算了.
簡單的說就是遇到寬依賴, 就生成新的Stage. 寬依賴會觸發shuffle. 我們來看上邊代碼的visit函數: 拿到RDD的所有的dependency, 如果是窄依賴那么繼續查找依賴的RDD的parent; 如果是寬依賴, 則調用getShuffleMapStage把生成的Stage加到當前stage的parents中. 該函數執行完畢, 則整個DAG就構建完成.
兩種方式的作業運行原理
Driver運行在Worker上
通過org.apache.spark.deploy.Client類執行作業，作業運行命令如下：
./bin/spark-class org.apache.spark.deploy.Client launch spark://host:port file:///jar_url org.apache.spark.examples.SparkPi spark://host:port
作業執行流如圖1所示。
作業執行流程描述：
客戶端提交作業給Master
Master讓一個Worker啟動Driver，即SchedulerBackend。Worker創建一個DriverRunner線程，DriverRunner啟動SchedulerBackend進程。
另外Master還會讓其余Worker啟動Exeuctor，即ExecutorBackend。Worker創建一個ExecutorRunner線程，ExecutorRunner會啟動ExecutorBackend進程。
ExecutorBackend啟動后會向Driver的SchedulerBackend注冊。SchedulerBackend進程中包含DAGScheduler，它會根據用戶程序，生成執行計劃，并調度執行。對于每個stage的task，都會被存放到TaskScheduler中，ExecutorBackend向SchedulerBackend匯報的時候把TaskScheduler中的task調度到ExecutorBackend執行。
所有stage都完成后作業結束。
Driver運行在客戶端
直接執行Spark作業，作業運行命令如下（示例）：
./bin/run-example org.apache.spark.examples.SparkPi spark://host:port
作業執行流如圖2所示。
圖2
作業執行流程描述：
客戶端啟動后直接運行用戶程序，啟動Driver相關的工作：DAGScheduler和BlockManagerMaster等。
客戶端的Driver向Master注冊。
Master還會讓Worker啟動Exeuctor。Worker創建一個ExecutorRunner線程，ExecutorRunner會啟動ExecutorBackend進程。
ExecutorBackend啟動后會向Driver的SchedulerBackend注冊。Driver的DAGScheduler解析作業并生成相應的Stage，每個Stage包含的Task通過TaskScheduler分配給Executor執行。
-
所有stage都完成后作業結束。
基于Yarn的Spark架構與作業執行流程
這里Spark AppMaster相當于Standalone模式下的SchedulerBackend，Executor相當于standalone的ExecutorBackend，spark AppMaster中包括DAGScheduler和YarnClusterScheduler。
Spark on Yarn的執行流程可以參考http://www.csdn.net/article/2013-12-04/2817706--YARN spark on Yarn部分。
這里主要介紹一下Spark ApplicationMaster的主要工作。代碼參考Apache Spark 0.9.0版本ApplicationMaster.scala中的run()方法。
步驟如下： 設置環境變量spark.local.dir和spark.ui.port。NodeManager啟動ApplicationMaster的時候會傳遞LOCAL_DIRS（YARN_LOCAL_DIRS）變量，這個變量會被設置為spark.local.dir的值。后續臨時文件會存放在此目錄下。
獲取NodeManager傳遞給ApplicationMaster的appAttemptId。
創建AMRMClient，即ApplicationMaster與ResourceManager的通信連接。
啟動用戶程序，startUserClass()，使用一個線程通過發射調用用戶程序的main方法。這時候，用戶程序中會初始化SparkContext，它包含DAGScheduler和TaskScheduler。
向ResourceManager注冊。
向ResourceManager申請containers，它根據輸入數據和請求的資源，調度Executor到相應的NodeManager上，這里的調度算法會考慮輸入數據的locality。
文章如有錯漏還望多批評指正。
文章參考鏈接：
Spark Job執行流程源碼解析
Spark架構與作業執行流程簡介
