前言
最近給StreamingPro提供了兩個新的模塊，一個是streamingpro-manager,一個是streamingpro-api。 streamingpro-manager主要是提供一個部署，管理Spark任務的web服務。streamingpro則是增強了定制StreamingPro的能力。當然，還有就是對原有功能的增強，比如StreamingPro SQL Server 支持異步導出數據，使得交互式查詢中，如果有海量結果需要返回成為可能。
雖然我們希望能夠使用SQL(加上UDF函數)完成所有的任務，但是現實往往沒有那么理想。為了能夠照顧靈活性，我們提供了三種方式讓用戶更好的使用StreamingPro完成自己的需求。
三種方案簡介
通過添加UDF函數。
UDF函數是可以直接在SQL中使用的。算是一個比較自然的增強方案。具體做法是：
首先，在配置文件添加一個配置，
"udf_register": {
"desc": "測試",
"strategy": "refFunction",
"algorithm": [],
"ref": [],
"compositor": [
{
"name": "sql.udf",
"params": [
{
"analysis": "streaming.core.compositor.spark.udf.func.Functions"
}
]
}
]
}
udf_register, analysis等都可以自定義命名，最好是取個有意義的名字，方便管理。
streaming.core.compositor.spark.udf.func.Functions包含了你開發的UDF函數。比如我要開發一個mkString udf函數：
object Functions {
def mkString(uDFRegistration: UDFRegistration) = {
uDFRegistration.register("mkString", (sep: String, co: mutable.WrappedArray[String]) => {
co.mkString(sep)
})
}
}
之后就可以在你的Job的ref標簽上引用了
{
"scalamaptojson": {
"desc": "測試",
"strategy": "spark",
"algorithm": [],
"ref": ['udf_register'],
你對應的任務就可以直接使用mkString函數了。
支持了script
在配置文件中，如果能嵌入一些腳本，在特定場景里也是很方便的，這樣既不需要編譯啥的了。截止到這篇發布為止,支持腳本的有：
Spark 1.6.+:
* 批處理
Spark 2.+:
* 批處理
* Spark Streaming處理
參看我文章StreamingPro 可以暴露出原生API給大家使用,http://www.lxweimin.com/p/b33c36cd3481。但是script依然會有些問題，尤其是如果你使用需要sqlContext的腳本，因為分布式的問題，會產生一些不可預期bug。同時腳本寫起來也不方便，不太好利用IDE。
通過標準API
現在我們提供了API,可以定制任何你要的環節，并且和其他現有的組件可以很好的協同，當然，你也可以使用原始的Compositor接口，實現 非常高級的功能。目前支持的版本和類型有：
Spark 2.+:
* 批處理
* Spark Streaming處理
這里有個spark streaming的例子，我想先對數據寫代碼處理，然后再接SQL組件，然后再進行存儲（存儲我也可能想寫代碼）
{
"scalamaptojson": {
"desc": "測試",
"strategy": "spark",
"algorithm": [],
"ref": [
],
"compositor": [
{
"name": "stream.sources",
"params": [
{
"format": "socket",
"outputTable": "test",
"port": "9999",
"host": "localhost",
"path": "-"
}
]
},
{
"name": "stream.script.df",
"params": [
{
"clzz": "streaming.core.compositor.spark.api.example.TestTransform",
"source": "-"
}
]
},
{
"name": "stream.sql",
"params": [
{
"sql": "select * from test2",
"outputTableName": "test3"
}
]
},
{
"name": "stream.outputs",
"params": [
{
"clzz": "streaming.core.compositor.spark.api.example.TestOutputWriter",
"inputTableName": "test3"
}
]
}
],
"configParams": {
}
}
}
要實現上面的邏輯，首先是創建一個項目，然后引入下面的依賴：
<dependency>
<groupId>streaming.king</groupId>
<artifactId>streamingpro-api</artifactId>
<version>0.4.15-SNAPSHOT</version>
</dependency>
這個包目前很簡單，只有兩個接口：
//數據處理
trait Transform {
def process(sQLContext: SQLContext, contextParams: Map[Any, Any], config: Map[String, String]): Unit
}
//數據寫入
trait OutputWriter {
def write(df: DataFrame, contextParams: Map[Any, Any], config: Map[String, String]): Unit
}
以數據處理為例，只要實現Transform接口，就可以通過stream.script.df 模塊進行配置了。
{
"name": "stream.script.df",
"params": [
{
"clzz": "streaming.core.compositor.spark.api.example.TestTransform",
"source": "-"
}
]
},
同樣，我們也對輸出進行了編程處理。
下面是TestTransform的實現：
class TestTransform extends Transform {
override def process(sQLContext: SQLContext, contextParams: Map[Any, Any], config: Map[String, String]): Unit = {
sQLContext.sql("select * from test").createOrReplaceTempView("test2")
}
}
TestOutputWriter也是類似的：
class TestOutputWriter extends OutputWriter {
override def write(sQLContext: SQLContext, contextParams: Map[Any, Any], config: Map[String, String]): Unit = {
sQLContext.sparkSession.table(config("inputTableName")).show(100)
}
}
contextParams 是整個鏈路傳遞的參數，大家可以忽略。config則是配置參數，比如如上面配置中的source參數，clzz參數等。另外這些參數都是可以通過啟動腳本配置和替換的，參看如何在命令行中指定StreamingPro的寫入路徑
