一、canal安裝

下載地址：https://github.com/alibaba/canal/releases

image.png

二、修改配置文件,監聽數據庫

默認是在example文件夾，可以修改example文件夾中的instance.properties文件配置。當然也可以根據自己的業務在conf路徑下新建一個文件夾，比如：test,并將example文件夾中的instance.properties文件復制到test文件夾下。

image.png

image.png

# 找到配置文件此處位置，設置成自己要監聽的數據庫地址
canal.instance.master.address=127.0.0.1:3306
# 找到配置文件此處位置，配置數據庫用戶名、密碼、及數據庫名稱。
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
canal.instance.defaultDatabaseName = test # test是數據庫名
canal.instance.enableDruid=false
# 找到此處位置，默認是監聽數據庫下所有的表，可以改成監聽具體的數據表。
#canal.instance.filter.regex=.*\\..*
canal.instance.filter.regex=test.test_table  # test是數據庫名  test_table是數據庫中表的名稱，多個用逗號隔開(test.table1,test.table2)

配置好后，需要修改數據庫的相應配置,修改數據庫配置文件my.cnf

log-bin=mysql-bin #添加這一行就ok
binlog-format=ROW #選擇row模式
server_id=1 #配置mysql replaction需要定義，不能和canal的slaveId重復

配置完成后，重新啟動數據庫，并查看；默認是不開啟的，為OFF

image.png

配置canal用戶

CREATE USER canal IDENTIFIED BY 'canal';  # 創建“canal”用戶
GRANT SELECT,REPLICATION SLAVE,REPLICATION CLIENT ON.TO 'canal'@'%'; # 為“canal”用戶賦予相應權限
FLUSH PRIVILEGES; # 刷新權限

配置完成，重啟以下mysql服務即可。

三、配置rocketMQ

配置rocketMQ，將動態監聽數據庫發送的數據變化，推送至mq中，并對相應業務進行處理。
修改/conf/canal.properties文件

# 找到以下配置，默認的是example文件夾，由于根據業務建立了test文件夾，所以需要改成test
# canal.destinations = example
canal.destinations = test # 可以配置多個，用逗號隔開，如：example,test
# 配置rocketMQ
rocketmq.producer.group = test-group  # 根據自己的業務進行修改
rocketmq.enable.message.trace = false
rocketmq.customized.trace.topic = test_canal_topic # 設置topic
rocketmq.namespace =
rocketmq.namesrv.addr = 127.0.0.1:9876 # 配置rocketMQ地址
rocketmq.retry.times.when.send.failed = 0
rocketmq.vip.channel.enabled = false
rocketmq.tag = 

配置好rocketMQ后，還需要修改/conf/test/instance.properties文件的topic配置

# 配置mq中的topic
canal.mq.topic=canal_test_topic

四、啟動canal

啟動/bin/startup.bat即可。

五、springboot項目監聽canal發送rocketMQ的代碼

springboot中的rocketMQ配置

#rocketmq配置
rocketmq:
  name-server: 127.0.0.1:9876
  producer:
    group: test-group  #這個需要和canal中/conf/canal.properties文件中的rocketmq.producer.group配置一致

springboot相應代碼

# topic 需要和canal中的/conf/test/instance.properties文件中的canal.mq.topic配置一致
# consumerGroup = "consumer-test-canal-group" # 自定義一個消費組即可
# customizedTraceTopic需要和canal中的/conf/canal.properties文件中的rocketmq.customized.trace.topic配置一致
@Component
@RocketMQMessageListener(topic = "canal_test_topic", consumerGroup = "consumer-test-canal-group", customizedTraceTopic = "test_canal_topic")
public class CanalConsumer implements RocketMQListener<String> {

    @Override
    public void onMessage(String msg) {
        System.out.println(msg);
        if (!JSONUtil.isJson(msg)) {
            return;
        }
        JSONObject msgJsonObject = JSONUtil.parseObj(msg);
        String sqlType = msgJsonObject.getStr("type");
        switch (sqlType) {
            case "UPDATE":
            case "INSERT":
            case "DELETE":
                break;
            default:
                System.out.println("不同步的消息類型：" + sqlType);
                return;
        }
        System.out.println(msgJsonObject.toStringPretty());
        String table = msgJsonObject.getStr("table");  # 獲取表名
        JSONArray data = msgJsonObject.getJSONArray("data");
        JSONArray pkNames = msgJsonObject.getJSONArray("pkNames");
        System.out.println("表名為:" + msgJsonObject.getStr("table") + ",sql類型為：" + sqlType);
        if ("UPDATE".equals(sqlType) || "INSERT".equals(sqlType)) {
          #  根據自己的業務進行處理
            for (int i = 0; i < data.size(); i++) {
                JSONObject object = data.getJSONObject(i);
                # 可以根據序號及字段獲取相應信息
                String key = object.getStr(pkNames.getStr(i), "0");
                String id = object.getStr("id","");
            }
            return;
        }
        if ("DELETE".equals(sqlType)) {
           #  根據自己的業務進行處理
            for (int i = 0; i < data.size(); i++) {
                JSONObject object = data.getJSONObject(i);
                String key = object.getStr(pkNames.getStr(i), "0");
            }
        }
    }
}