Spark - 升級(jí)版數(shù)據(jù)源JDBC2

> 在spark的數(shù)據(jù)源中，只支持Append, Overwrite, ErrorIfExists, Ignore,這幾種模式，但是我們?cè)诰€上的業(yè)務(wù)幾乎全是需要upsert功能的，就是已存在的數(shù)據(jù)肯定不能覆蓋，在mysql中實(shí)現(xiàn)就是采用：`ON DUPLICATE KEY UPDATE`，有沒有這樣一種實(shí)現(xiàn)？官方：不好意思，不提供，dounine：我這有呀，你來用吧。哈哈，為了方便大家的使用我已經(jīng)把項(xiàng)目打包到maven中央倉(cāng)庫(kù)了，為的就是使用快，容易使用。

## 吃土的方案

MysqlClient.scala

```

import java.sql._

import java.time.{LocalDate, LocalDateTime}

import scala.collection.mutable.ListBuffer

class MysqlClient(jdbcUrl: String) {

? private var connection: Connection = null

? val driver = "com.mysql.jdbc.Driver"

? init()

? def init(): Unit = {

? ? if (connection == null || connection.isClosed) {

? ? ? val split = jdbcUrl.split("\\|")

? ? ? Class.forName(driver)

? ? ? connection = DriverManager.getConnection(split(0), split(1), split(2))

? ? }

? }

? def close(): Unit = {

? ? connection.close()

? }

? def execute(sql: String, params: Any*): Unit = {

? ? try {

? ? ? val statement = connection.prepareStatement(sql)

? ? ? this.fillStatement(statement, params: _*)

? ? ? statement.executeUpdate

? ? } catch {

? ? ? case e: SQLException =>

? ? ? ? e.printStackTrace()

? ? }

? }

? @throws[SQLException]

? def fillStatement(statement: PreparedStatement, params: Any*): Unit = {

? ? for (i <- 1 until params.length + 1) {

? ? ? val value: Any = params(i - 1)

? ? ? value match {

? ? ? ? case s: String => statement.setString(i, value.toString)

? ? ? ? case i: Integer => statement.setInt(i, value.toString.asInstanceOf[Int])

? ? ? ? case b: Boolean => statement.setBoolean(i, value.toString.asInstanceOf[Boolean])

? ? ? ? case ld: LocalDate => statement.setString(i, value.toString)

? ? ? ? case ldt: LocalDateTime => statement.setString(i, value.toString)

? ? ? ? case l: Long => statement.setLong(i, value.toString.asInstanceOf[Long])

? ? ? ? case d: Double => statement.setDouble(i, value.toString.asInstanceOf[Double])

? ? ? ? case f: Float => statement.setFloat(i, value.toString.asInstanceOf[Float])

? ? ? ? case _ => statement.setString(i, value.toString)

? ? ? }

? ? }

? }

? def upsert(query: Query, update: Update, tableName: String): Unit = {

? ? val names = ListBuffer[String]()

? ? val values = ListBuffer[String]()

? ? val params = ListBuffer[AnyRef]()

? ? val updates = ListBuffer[AnyRef]()

? ? val keysArr = scala.Array(query.values.keys, update.sets.keys, update.incs.keys)

? ? val valuesArr = scala.Array(update.sets.values, update.incs.values)

? ? for (i: Int <- 0 until keysArr.length) {

? ? ? val item = keysArr(i)

? ? ? item.foreach {

? ? ? ? key => {

? ? ? ? ? names += s"`${key}`"

? ? ? ? ? values += "?"

? ? ? ? }

? ? ? }

? ? ? i match {

? ? ? ? case 0 => {

? ? ? ? ? params.++=(query.values.values)

? ? ? ? }

? ? ? ? case 1 | 2 => {

? ? ? ? ? params.++=(valuesArr(i - 1).toList)

? ? ? ? }

? ? ? }

? ? }

? ? update.sets.foreach {

? ? ? item => {

? ? ? ? updates += s" `${item._1}` = ? "

? ? ? ? params += item._2

? ? ? }

? ? }

? ? update.incs.foreach {

? ? ? item => {

? ? ? ? updates += s" `${item._1}` = `${item._1}` + ? "

? ? ? ? params += item._2

? ? ? }

? ? }

? ? val sql = s"INSERT INTO `$tableName` (${names.mkString(",")}) VALUES(${values.mkString(",")}) ON DUPLICATE KEY UPDATE ${updates.mkString(",")}"

? ? this.execute(sql, params.toArray[AnyRef]: _*)

? }

}

case class Update(sets: Map[String, AnyRef] = Map(), incs: Map[String, AnyRef] = Map())

case class Query(values: Map[String, AnyRef] = Map())

```

吃土的程序

```

val fieldMaps = (row: Row, fields: Array[String]) => fields.map {

? ? field => (field, Option(row.getAs[String](field)).getOrElse(""))

? }.toMap

sc.sql(

? ? ? s"""select time,count(userid) as pv,count(distinct(userid)) as uv from log group by time""")

? ? ? .foreachPartition(item => {

? ? ? ? val props: Properties = PropertiesUtils.properties("mysql")

? ? ? ? val mysqlClient: MysqlClient = new MysqlClient(props.getProperty("jdbcUrl"))

? ? ? ? while (item.hasNext) {

? ? ? ? ? val row: Row = item.next()

? ? ? ? ? val pv: Long = row.getAs("pv")

? ? ? ? ? val uv: Long = row.getAs("uv")

? ? ? ? ? val indicatorMap = Map(

? ? ? ? ? "pv" -> pv.toString,

? ? ? ? ? "uv" -> uv.toString

? ? ? ? ? )

? ? ? ? ? val update = if (overrideIndicator) {//覆蓋

? ? ? ? ? ? Update(sets = indicatorMap)

? ? ? ? ? } else {//upsert

? ? ? ? ? ? Update(incs = indicatorMap)

? ? ? ? ? }

? ? ? ? ? var queryMap = fieldMaps(row,"time".split(","))

? ? ? ? ? mysqlClient.upsert(

? ? ? ? ? ? Query(queryMap),

? ? ? ? ? ? update,

? ? ? ? ? ? "test"

? ? ? ? ? )

? ? ? ? }

? ? ? ? mysqlClient.close()

? ? ? })

```

真的是丑極了，不想看了

## 如今升級(jí)為jdbc2之后

依賴 [spark-sql-datasource](https://mvnrepository.com/artifact/com.dounine/spark-sql-datasource)

```

<dependency>

? <groupId>com.dounine</groupId>

? <artifactId>spark-sql-datasource</artifactId>

? <version>1.0.1</version>

</dependency>

```

創(chuàng)建一張測(cè)試表

```

CREATE TABLE `test` (

? `id` int(11) NOT NULL AUTO_INCREMENT,

? `time` date NOT NULL,

? `pv` int(255) DEFAULT '0',

? `uv` int(255) DEFAULT '0',

? PRIMARY KEY (`id`),

? UNIQUE KEY `uniq` (`time`) USING BTREE

) ENGINE=InnoDB AUTO_INCREMENT=22 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

```

程序

```

val spark = SparkSession

? ? ? .builder()

? ? ? .appName("jdbc2")

? ? ? .master("local[*]")

? ? ? .getOrCreate()

? ? val readSchmeas = StructType(

? ? ? Array(

? ? ? ? StructField("userid", StringType, nullable = false),

? ? ? ? StructField("time", StringType, nullable = false),

? ? ? ? StructField("indicator", LongType, nullable = false)

? ? ? )

? ? )

? ? val rdd = spark.sparkContext.parallelize(

? ? ? Array(

? ? ? ? Row.fromSeq(Seq("lake", "2019-02-01", 10L)),

? ? ? ? Row.fromSeq(Seq("admin", "2019-02-01", 10L)),

? ? ? ? Row.fromSeq(Seq("admin", "2019-02-01", 11L))

? ? ? )

? ? )

? ? spark.createDataFrame(rdd, readSchmeas).createTempView("log")

? ? spark.sql("select time,count(userid) as pv,count(distinct(userid)) as uv from log group by time")

? ? ? .write

? ? ? .format("org.apache.spark.sql.execution.datasources.jdbc2")

? ? ? .options(

? ? ? ? Map(

? ? ? ? ? "savemode" -> JDBCSaveMode.Update.toString,

? ? ? ? ? "driver" -> "com.mysql.jdbc.Driver",

? ? ? ? ? "url" -> "jdbc:mysql://localhost:3306/ttable",

? ? ? ? ? "user" -> "root",

? ? ? ? ? "password" -> "root",

? ? ? ? ? "dbtable" -> "test",

? ? ? ? ? "useSSL" -> "false",

? ? ? ? ? "duplicateIncs" -> "pv,uv",

? ? ? ? ? "showSql" -> "true"

? ? ? ? )

? ? ? ).save()

```

實(shí)際程序上運(yùn)行會(huì)生成下面的 SQL 語句

```

INSERT INTO test (`time`,`pv`,`uv`)

? VALUES (?,?,?)

? ON DUPLICATE KEY UPDATE `time`=?,`pv`=`pv`+?,`uv`=`uv`+?

```

生成結(jié)果

![spark-sql datasource jdbc2 upsert](https://upload-images.jianshu.io/upload_images/9028759-afacd2fc7610a602.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## jdbc2新增配置

|format| duplicateIncs | showSql |

|--|--|--|

|org.apache.spark.sql.execution.datasources.jdbc2|upsert 字段|是否打印 SQL|

其他配置與內(nèi)置`jdbc`數(shù)據(jù)源一樣~~~

![](https://upload-images.jianshu.io/upload_images/9028759-baab8931ac7ca21d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

---

![](https://upload-images.jianshu.io/upload_images/9028759-07315bb8dadcd082.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • > 在Flink中我們有時(shí)候需要分析數(shù)據(jù)1點(diǎn)到2點(diǎn)的范圍,可是經(jīng)過Region又比較慢，這時(shí)候我們就可以定制`Ta...
    kikiki4閱讀 207評(píng)論 0贊 1
  • > 通過spark-submit會(huì)固定占用一占的資源，有什么辦法，在任務(wù)不運(yùn)作的時(shí)候?qū)①Y源釋放，讓其它任務(wù)使用呢，...
    kikiki4閱讀 160評(píng)論 0贊 1
  • > 有時(shí)候有沒有這么一種情況，我拿到了一個(gè)sql,csv,parquet文件，一起來就想寫sql，不想寫那些亂七八...
    kikiki4閱讀 244評(píng)論 0贊 1
  • > 昨天有位大哥問小弟一個(gè)Spark問題，他們想在不停Spark程序的情況下動(dòng)態(tài)更新UDF的邏輯，他一問我這個(gè)問題...
    kikiki4閱讀 427評(píng)論 0贊 1
  • > 如果我們的Mysql服務(wù)器性能不咋滴，但是硬盤很夠，如何才能做各種復(fù)雜的聚合操作？答案就是使用spark的計(jì)算...
    kikiki4閱讀 399評(píng)論 0贊 2