一、概述

Spark Streaming是對核心Spark API的一個擴展，它能夠實現對實時數據流的流式處理，并具有很好的可擴展性、高吞吐量和容錯性。Spark Streaming支持從多種數據源提取數據，如：Kafka、Flume、Twitter、ZeroMQ、Kinesis以及TCP套接字，并且可以提供一些高級API來表達復雜的處理算法，如：map、reduce、join和window等。最后，Spark Streaming支持將處理完的數據推送到文件系統、數據庫或者實時儀表盤中展示。實際上，你完全可以將Spark的機器學習（machine learning） 和 圖計算（graph processing）的算法應用于Spark Streaming的數據流當中。

1.png

二、Spark Streaming基本原理

1）官方文檔對Spark Streaming的原理解讀

Spark Streaming從實時數據流接入數據，再將其劃分為一個個小批量供后續Spark engine處理，所以實際上，Spark Streaming是按一個個小批量來處理數據流的。下圖展示了Spark Streaming的內部工作原理：

2.png

Spark Streaming為這種持續的數據流提供了的一個高級抽象，即：<font color="red">discretized stream（離散數據流）或者叫DStream</font>。DStream既可以從輸入數據源創建得來，如：Kafka、Flume或者Kinesis，也可以從其他DStream經一些算子操作得到。其實在內部，一個DStream就是包含了一系列RDDs。

2）框架執行流程

下面將從更細粒度架構角度看Spark Streaming的執行原理，這里先回顧一下Spark框架執行流程。

3.jpg

Spark計算平臺有兩個重要角色，Driver和executor，不論是Standlone模式還是Yarn模式，都是Driver充當Application的master角色，負責任務執行計劃生成和任務分發及調度；executor充當worker角色，負責實際執行任務的task，<font color="red">計算的結果返回Driver</font>。

下圖是Driver和Ececutor的執行流程。

4.png

Driver負責生成邏輯查詢計劃、物理查詢計劃和把任務派發給executor，executor接受任務后進行處理，離線計算也是按這個流程進行。

• DAGScheduler：負責將Task拆分成不同Stage的具有依賴關系（包含RDD的依賴關系）的多批任務，然后提交給TaskScheduler進行具體處理。
• TaskScheduler：負責實際每個具體Task的物理調度執行。

下面看Spark Streaming實時計算的執行流程：

5.png

• 從整體上看，實時計算與離線計算一樣，主要組件是Driver和Executor的。不同的是多了數據采集和數據按時間分片過程，數據采集依賴外部數據源，這里用MessageQueue表示，數據分片則依靠內部一個時鐘Clock，按batch interval來定時對數據分片，然后把每一個batch interval內的數據提交處理。
• Executor從MessageQueue獲取數據并交給BlockManager管理，然后把元數據信息BlockID返給driver的Receiver Tracker，driver端的Job Jenerator對一個batch的數據生成JobSet，最后把作業執行計劃傳遞給executor處理。

三、Spark Streaming核心API

SparkStreaming完整的API包括StreamingContext、DStream輸入、DStream上的各種操作和動作、DStream輸出、窗口操作等。

1）StreamingContext

為了初始化Spark Streaming程序，必須創建一個StreamingContext對象，該對象是Spark Streaming所有流操作的主要入口。一個StreamingContext對象可以用SparkConf對象創建：

import org.apache.spark.*;
import org.apache.spark.api.java.function.*;
import org.apache.spark.streaming.*;
import org.apache.spark.streaming.api.java.*;
import scala.Tuple2;

// Create a local StreamingContext with two working thread and batch interval of 1 second
SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount");
JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(1));

2）DStream輸入

DStream輸入表示從數據源獲取的原始數據流。每個輸入流DStream和一個接收器(receiver)對象相關聯，這個Receiver從源中獲取數據，并將數據存入內存中用于處理。

Spark Streaming有兩類數據源：

• 基本源(basic source)：在StreamingContext API中直接可用的源頭，例如文件系統、套接字連接、Akka的actor等。
• 高級源(advanced source)：包括 Kafka、Flume、Kinesis、Tiwtter等，他們需要通過額外的類來使用。

3）DStream的轉換

和RDD類似，transformation用來對輸入DStreams的數據進行轉換、修改等各種操作，當然，DStream也支持很多在Spark RDD的transformation算子。

4）DStream的輸出

和RDD類似，Spark Streaming允許將DStream轉換后的結果發送到數據庫、文件系統等外部系統中。目前，定義了Spark Streaming的輸出操作：

5）窗口操作

Spark Streaming 還提供窗口計算，允許您在數據的滑動窗口上應用轉換。下圖說明了這個滑動窗口：

6.png

如圖所示，每次窗口滑過一個源 DStream 時，落入窗口內的源 RDD 被組合并操作以產生窗口化 DStream 的 RDD。在這種特定情況下，該操作應用于最后 3 個時間單位的數據，并滑動 2 個時間單位。這說明任何窗口操作都需要指定兩個參數。

• windowLength：窗口的持續時間（圖中 3）。
• slideInterval ：執行窗口操作的間隔（圖中為 2）。
  一些常見的窗口操作如下。所有這些操作都采用上述兩個參數 - windowLength和slideInterval。

更多操作詳情，請參考官方文檔：https://spark.apache.org/docs/latest/streaming-programming-guide.html

四、Spark下一代實時計算框架Structured Streaming

1）簡介

從Spark 2.0開始，Spark Streaming引入了一套新的流計算編程模型：Structured Streaming，開發這套API的主要動因是自Spark 2.0之后，以RDD為核心的API逐步升級到Dataset/DataFrame上，而另一方面，以RDD為基礎的編程模型對開發人員的要求較高，需要有足夠的編程背景才能勝任Spark Streaming的編程工作，而新引入的Structured Streaming模型是把數據流當作一個沒有邊界的數據表來對待，這樣開發人員可以在流上使用Spark SQL進行流處理，這大大降低了流計算的編程門檻。

下圖為Structure Streaming邏輯數據結構圖：

7.png

這里以wordcount為例的計算過程如下圖：

8.png

圖中Time橫軸是時間軸，隨著時間，在1、2、3秒分別輸入數據，進入wordcount算法計算聚合，輸出結果。更對關于Structure Streaming可以參考官網：https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html

2） Spark streaming 和 Spark Structured Streaming的對比

Spark Streaming

• Spark Streaming是spark最初的流處理框架，使用了微批的形式來進行流處理。

• 提供了基于RDDs的Dstream API，每個時間間隔內的數據為一個RDD，源源不斷對RDD進行處理來實現流計算。

• Spark Streaming采用微批的處理方法，微批終究是批。每一個批處理間隔的為一個批，也就是一個RDD，我們對RDD進行操作就可以源源不斷的接收、處理數據。

Spark Structured Streaming

• Spark 2.X出來的流框架，采用了無界表的概念，流數據相當于往一個表上不斷追加行。

• 基于Spark SQL引擎實現，可以使用大多數Spark SQL的function。

• Structured Streaming將實時數據當做被連續追加的表。流上的每一條數據都類似于將一行新數據添加到表中。

3）對比其它實時計算框架

為了展示結構化流的獨特之處，下表將其與其他幾個系統進行了比較。正如我們所討論的，Structured Streaming 對前綴完整性的強大保證使其等同于批處理作業，并且易于集成到更大的應用程序中。此外，在 Spark 上構建可以與批處理和交互式查詢集成。

9.png

• 從延遲看：Storm和Flink原生支持流計算，對每條記錄處理，毫秒級延遲，是真正的實時計算，對延遲要求較高的應用建議選擇這兩種。Spark Streaming的延遲是秒級。Flink是目前最火的實時計算引擎，也是公司用的最多的實時計算引擎，出來的晚，但是發展迅猛。

• 從容錯看 ：Spark Streaming和Flink都支持最高的exactly-once容錯級別，Storm會有記錄重復計算的可能

• 從吞吐量看 ：Spark Streaming是小批處理，故吞吐量會相對更大。

• 從成熟度看： Storm最成熟，Spark其次，Flink處于仍處于發展中，這三個項目都有公司生產使用，但畢竟開源項目，項目越不成熟，往往越要求公司大數據平臺研發水平。

• 從整合性看：Storm與SQL、機器學習和圖計算的結合復雜性最高；而Spark和Flink都有生態圈內對應的SQL、機器學習和圖計算，與這些項目結合更容易。

【參考資料】

• http://spark.apache.org/docs/latest/streaming-programming-guide.html

• http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html

• https://databricks.com/blog/2017/04/26/processing-data-in-apache-kafka-with-structured-streaming-in-apache-spark-2-2.html

• https://databricks.com/blog/2016/07/28/structured-streaming-in-apache-spark.html