數(shù)據(jù)實(shí)時(shí)增量同步之CDC工具—Canal、mysql_stream、go-mysql-transfer、Maxwell

@TOC

[Mysql數(shù)據(jù)實(shí)時(shí)增量同步之CDC工具—Canal、mysql_stream、go-mysql-transfer、Maxwell:https://blog.csdn.net/weixin_42526326/article/details/121148721

什么是CDC?

CDC(Change Data Capture)是變更數(shù)據(jù)獲取的簡稱。可以基于增量日志,以極低的侵入性來完成增量數(shù)據(jù)捕獲的工作。核心思想是,監(jiān)測(cè)并捕獲數(shù)據(jù)庫的變動(dòng)(包括數(shù)據(jù)或數(shù)據(jù)表的插入、更新以及刪除等),將這些變更按發(fā)生的順序完整記錄下來,寫入到消息中間件中以供其他服務(wù)進(jìn)行訂閱及消費(fèi)。

簡單來講:CDC是指從源數(shù)據(jù)庫捕獲到數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu)(也稱為模式)的增量變更,近乎實(shí)時(shí)地將這些變更,傳播到其他數(shù)據(jù)庫或應(yīng)用程序之處。
通過這種方式,CDC能夠向數(shù)據(jù)倉庫提供高效、低延遲的數(shù)據(jù)傳輸,以便信息被及時(shí)轉(zhuǎn)換并交付給專供分析的應(yīng)用程序。

與批量復(fù)制相比,變更數(shù)據(jù)的捕獲通常具有如下三項(xiàng)基本優(yōu)勢(shì):

  • CDC通過僅發(fā)送增量的變更,來降低通過網(wǎng)絡(luò)傳輸數(shù)據(jù)的成本。
  • CDC可以幫助用戶根據(jù)最新的數(shù)據(jù)做出更快、更準(zhǔn)確的決策。例如,CDC會(huì)將事務(wù)直接傳輸?shù)綄9┓治龅膽?yīng)用上。
  • CDC最大限度地減少了對(duì)于生產(chǎn)環(huán)境網(wǎng)絡(luò)流量的干擾。

CDC工具對(duì)比

特色 Canal mysql_stream go-mysql-transfer Maxwell
開發(fā)語言 Java Python Golang Java
高可用 支持 支持 支持 支持
接收端 編碼定制 Kafka等(MQ) Redis、MongoDB、Elasticsearch、RabbitMQ、Kafka、RocketMQ、HTTP API 等 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件等
全量數(shù)據(jù)初始化 不支持 支持 支持 支持
數(shù)據(jù)格式 編碼定制 Json(固定格式) Json(規(guī)則配置) 模板語法 Lua腳本 JSON
性能(4-8TPS)

實(shí)現(xiàn)原理:

1、go-mysql-transfer將自己偽裝成MySQL的Slave,

2、向Master發(fā)送dump協(xié)議獲取binlog,解析binlog并生成消息

3、將生成的消息實(shí)時(shí)、批量發(fā)送給接收端

img

Mysql binlog 講解:

MySQL的二進(jìn)制日志可以說MySQL最重要的日志了,它記錄了所有的DDL和DML(除了數(shù)據(jù)查詢語句)語句,
以事件形式記錄,還包含語句所執(zhí)行的消耗的時(shí)間,MySQL的二進(jìn)制日志是事務(wù)安全型的。

一般來說開啟二進(jìn)制日志大概會(huì)有1%的性能損耗。

二進(jìn)制日志兩個(gè)最重要的使用場(chǎng)景:

  • MySQL Replication在Master端開啟binlog,Master把它的二進(jìn)制日志傳遞給slaves來達(dá)到master-slave數(shù)據(jù)一致的目的。
  • 數(shù)據(jù)恢復(fù),通過使用mysqlbinlog工具來使恢復(fù)數(shù)據(jù)。

二進(jìn)制日志包括兩類文件:

  • 二進(jìn)制日志索引文件(文件名后綴為.index)用于記錄所有的二進(jìn)制文件

  • 二進(jìn)制日志文件(文件名后綴為.00000*)記錄數(shù)據(jù)庫所有的DDL和DML(除了數(shù)據(jù)查詢語句)語句事件。

binlog文件的滾動(dòng):

  • 達(dá)到了滾動(dòng)的大小
  • mysql服務(wù)停止

mysql binlog的三種格式

在配置文件中可以選擇配置 binlog_format= statement|mixed|row

  • ROW 模式(一般就用它)

    日志會(huì)記錄每一行數(shù)據(jù)被修改的形式,不會(huì)記錄執(zhí)行 SQL 語句的上下文相關(guān)信息,只記錄要修改的數(shù)據(jù),哪條數(shù)據(jù)被修改了,修改成了什么樣子,只有 value,不會(huì)有 SQL 多表關(guān)聯(lián)的情況。

    優(yōu)點(diǎn):它僅僅只需要記錄哪條數(shù)據(jù)被修改了,修改成什么樣子了,所以它的日志內(nèi)容會(huì)非常清楚地記錄下每一行數(shù)據(jù)修改的細(xì)節(jié),非常容易理解。

    缺點(diǎn):ROW 模式下,特別是數(shù)據(jù)添加的情況下,所有執(zhí)行的語句都會(huì)記錄到日志中,都將以每行記錄的修改來記錄,這樣會(huì)產(chǎn)生大量的日志內(nèi)容。

  • STATEMENT 模式

    每條會(huì)修改數(shù)據(jù)的 SQL 語句都會(huì)被記錄下來。

    缺點(diǎn):由于它是記錄的執(zhí)行語句,所以,為了讓這些語句在 slave 端也能正確執(zhí)行,那他還必須記錄每條語句在執(zhí)行過程中的一些相關(guān)信息,也就是上下文信息,以保證所有語句在 slave 端被執(zhí)行的時(shí)候能夠得到和在 master 端執(zhí)行時(shí)候相同的結(jié)果。

    但目前例如 step()函數(shù)在有些版本中就不能被正確復(fù)制,在存儲(chǔ)過程中使用了 last-insert-id()函數(shù),可能會(huì)使 slave 和 master 上得到不一致的 id,就是會(huì)出現(xiàn)數(shù)據(jù)不一致的情況,ROW 模式下就沒有。

  • MIXED 模式

    以上兩種模式都使用。

常見的數(shù)據(jù)采集工具(相關(guān)知識(shí)):

DataX、Flume、Canal、Sqoop、LogStash

DataX (處理離線數(shù)據(jù))

DataX 是阿里巴巴開源的一個(gè)異構(gòu)數(shù)據(jù)源離線同步工具,異構(gòu)數(shù)據(jù)源離線同步指的是將源端數(shù)據(jù)同步到目的端,但是端與端的數(shù)據(jù)源類型種類繁多,在沒有 DataX 之前,端與端的鏈路將組成一個(gè)復(fù)雜的網(wǎng)狀結(jié)構(gòu),非常零散無法把同步核心邏輯抽象出來。

為了解決異構(gòu)數(shù)據(jù)源同步問題,DataX 將復(fù)雜的網(wǎng)狀的同步鏈路變成了星型數(shù)據(jù)鏈路,DataX 作為中間傳輸載體負(fù)責(zé)連接各種數(shù)據(jù)源。

所以,當(dāng)需要接入一個(gè)新的數(shù)據(jù)源的時(shí)候,只需要將此數(shù)據(jù)源對(duì)接到 DataX,就可以跟已有的數(shù)據(jù)源做到無縫數(shù)據(jù)同步。

DataX本身作為離線數(shù)據(jù)同步框架,采用Framework+plugin架構(gòu)構(gòu)建。將數(shù)據(jù)源讀取和寫入抽象成為Reader/Writer插件,納入到整個(gè)同步框架中。

  1. Reader: 它為數(shù)據(jù)采集模塊,負(fù)責(zé)采集數(shù)據(jù)源的數(shù)據(jù),將數(shù)據(jù)發(fā)送給Framework。
  2. Writer: 它為數(shù)據(jù)寫入模塊,負(fù)責(zé)不斷向Framework取數(shù)據(jù),并將數(shù)據(jù)寫入到目的端。
  3. Framework:它用于連接Reader和Writer,作為兩者的數(shù)據(jù)傳輸通道,并處理緩沖、并發(fā)、數(shù)據(jù)轉(zhuǎn)換等問題。

核心模塊介紹:

  1. DataX完成單個(gè)數(shù)據(jù)同步的作業(yè),我們把它稱之為Job,DataX接收到一個(gè)Job之后,將啟動(dòng)一個(gè)進(jìn)程來完成整個(gè)作業(yè)同步過程。
  2. DataX Job啟動(dòng)后,會(huì)根據(jù)不同的源端切分策略,將Job切分成多個(gè)小的Task(子任務(wù)),以便于并發(fā)執(zhí)行。
  3. 切分多個(gè)Task之后,DataX Job會(huì)調(diào)用Scheduler模塊,根據(jù)配置的并發(fā)數(shù)據(jù)量,將拆分成的Task重新組合,組裝成TaskGroup(任務(wù)組)。每一個(gè)TaskGroup負(fù)責(zé)以一定的并發(fā)運(yùn)行完畢分配好的所有Task,默認(rèn)單個(gè)任務(wù)組的并發(fā)數(shù)量為5。
  4. 每一個(gè)Task都由TaskGroup負(fù)責(zé)啟動(dòng),Task啟動(dòng)后,會(huì)固定啟動(dòng)Reader->Channel->Writer的線程來完成任務(wù)同步工作。
  5. DataX作業(yè)運(yùn)行完成之后,Job監(jiān)控并等待多個(gè)TaskGroup模塊任務(wù)完成,等待所有TaskGroup任務(wù)完成后Job成功退出。否則,異常退出。

Flume(處理實(shí)時(shí)數(shù)據(jù))

Flume主要應(yīng)用的場(chǎng)景是同步日志數(shù)據(jù),主要包含三個(gè)組件:Source、Channel、Sink。

Flume最大的優(yōu)點(diǎn)就是官網(wǎng)提供了豐富的Source、Channel、Sink,根據(jù)不同的業(yè)務(wù)需求,我們可以在官網(wǎng)查找相關(guān)配置。另外,F(xiàn)lume還提供了自定義這些組件的接口。

Logstash(處理離線數(shù)據(jù))

Logstash就是一根具備實(shí)時(shí)數(shù)據(jù)傳輸能力的管道,負(fù)責(zé)將數(shù)據(jù)信息從管道的輸入端傳輸?shù)焦艿赖妮敵龆耍慌c此同時(shí)這根管道還可以讓你根據(jù)自己的需求在中間加上過濾網(wǎng),Logstash提供了很多功能強(qiáng)大的過濾網(wǎng)來滿足各種應(yīng)用場(chǎng)景。

Logstash是由JRuby編寫,使用基于消息的簡單架構(gòu),在JVM上運(yùn)行。在管道內(nèi)的數(shù)據(jù)流稱之為event,它分為inputs階段、filters階段、outputs階段。

Sqoop(處理離線數(shù)據(jù))

Sqoop是Hadoop和關(guān)系型數(shù)據(jù)庫之間傳送數(shù)據(jù)的一種工具,它是用來從關(guān)系型數(shù)據(jù)庫如MySQL到Hadoop的HDFS從Hadoop文件系統(tǒng)導(dǎo)出數(shù)據(jù)到關(guān)系型數(shù)據(jù)庫。Sqoop底層用的還是MapReducer,用的時(shí)候一定要注意數(shù)據(jù)傾斜。

注:sqoop不是CDC工具 sqoop是基于查詢的全量數(shù)據(jù)捕獲.

參考:

https://www.cnblogs.com/zzz01/p/15263071.html

go-mysql-transfer產(chǎn)品手冊(cè)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容