基于阿里巴巴Canal框架,kafka監(jiān)聽(tīng)協(xié)議實(shí)現(xiàn)Mysql與ES數(shù)據(jù)同步

準(zhǔn)備

找到我們所需的安裝包文件
關(guān)于Apache的相關(guān)包,都可以在這個(gè)網(wǎng)站找到啦

http://mirrors.hust.edu.cn/apache/

安裝JDK

此處略過(guò)

安裝zookeeper

下載源碼包,并解壓

wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

tar -zxvf zookeeper-3.4.14.tar.gz

mv zookeeper-3.4.14/ zookeeper

修改配置文件

編輯 /etc/profile 文件, 在文件末尾添加以下環(huán)境變量配置

export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

運(yùn)行以下命令使環(huán)境變量生效

source /etc/profile

重命名配置文件

初次使用需要將config下zoo_sample.cfg 重命名為 zoo.cfg

cd zookeeper/conf/

mv zoo_sample.cfg zoo.cfg

創(chuàng)建目錄data目錄

用于存放持久化數(shù)據(jù)的地方

mkdir data

修改配置文件

修改zoo.cfg中的datadir路徑為將剛剛創(chuàng)建的data目錄的地址

啟動(dòng)zookeeper服務(wù)

/usr/local/software/zookeeper/bin

./zkServer.sh start

當(dāng)然也可以通過(guò)status命令,來(lái)查看zk是否成功運(yùn)運(yùn)行,以及什么模式進(jìn)行運(yùn)行等

./zkServer.sh status

好,如下圖就代表我們成功連接啟動(dòng)了zk服務(wù)器啦~

安裝kafka

下載源碼包,并解壓

wget http://mirrors.hust.edu.cn/apache/kafka/2.2.2/kafka_2.11-2.2.2.tgz

tar tar -zxvf kafka_2.11-2.2.2.tgz

mv kafka_2.11-2.2.2/ kafka

創(chuàng)建logs目錄

cd kafka

mkdir logs

修改配置文件

vim /usr/local/software/kafka/config/server.properties 修改參數(shù)

啟動(dòng)kafka Server

啟動(dòng)kafka

bin/kafka-server-start.sh  -daemon  config/server.properties &

關(guān)閉kafka

bin/kafka-server-stop.sh  -daemon  config/server.properties &

查看kafka是否關(guān)閉

jps

查看所有topic

bin/kafka-topics.sh --list --zookeeper 192.168.137.5:2181

查看指定topic下的數(shù)據(jù)

bin/kafka-console-consumer.sh --bootstrap-server 192.168.137.5:9092  --from-beginning --topic sunny-topic

如何判斷是否啟動(dòng)成功,請(qǐng)看下圖


安裝mysql

安裝mysql

此忽略

配置mysql

vim /etc/my.cnf

log-bin=mysql-bin # 開(kāi)啟 binlog
binlog-format=ROW # 選擇 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定義，不要和 canal 的 slaveId 重復(fù)

授權(quán) canal 鏈接 MySQL 賬號(hào)具有作為 MySQL slave 的權(quán)限, 如果已有賬戶可直接 grant

drop user 'canal'@'%';    ##注意,這里如果沒(méi)有創(chuàng)建canal賬號(hào),則會(huì)報(bào)錯(cuò),所以沒(méi)有創(chuàng)建則直接忽略這一步
CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';
grant all privileges on *.* to 'canal'@'%' identified by 'canal';
flush privileges;

重啟mysql
service mysqld restart

查看是否成功開(kāi)啟binlog日志

show variables like '%log_bin%';

log_bin為ON則開(kāi)啟

檢查權(quán)限

一定要檢查mysql user 權(quán)限為y

安裝Canal

下載源碼包,并解壓

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5-alpha-1/canal.deployer-1.1.5-SNAPSHOT.tar.gz

mkdir canal

tar -zxvf canal.deployer-1.1.5-SNAPSHOT.tar.gz -C canal

解壓完成后,可以看到如下結(jié)構(gòu)

配置修改

vi conf/example/instance.properties

修改canal 配置文件

vim /usr/local/software/canal/conf/canal.properties

注釋寫著暫時(shí)支持三種監(jiān)聽(tīng)模式,默認(rèn)是tcp模式,我們選擇KafKa監(jiān)聽(tīng)

更改為kafka的連接地址,或集群地址

改完后,進(jìn)入bin目錄重啟canalServer端
重啟完了后,如何查看是否集成kafka成功了呢,很簡(jiǎn)單
直接進(jìn)入zk里面查看kafka的主題,是否有我們剛才在server端定義的名稱即可確定是否集成成功
注意的是:如果重啟后沒(méi)有發(fā)現(xiàn)zk里面有自己的topic主題，可能是懶加載的原因,可以通過(guò)修改數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)同步數(shù)據(jù),這個(gè)時(shí)候zk就會(huì)有自己的Topic了

啟動(dòng)canal

bin/startup.sh

查看是否啟動(dòng)成功

通過(guò)查看日志
在canal目錄下的/logs/example/example.log日志

那么,zk、kafka、canal都啟動(dòng)了
我們新建一個(gè)數(shù)據(jù)庫(kù),并新增一個(gè)表,添加一條數(shù)據(jù),看數(shù)據(jù)是否會(huì)被監(jiān)聽(tīng)到

查看某個(gè)topic的所有消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.137.5:9092  --from-beginning --topic sunny-topic

消息已成功達(dá)到kafka消息隊(duì)列

安裝kibana和es

如何安裝,可以參考我的這篇文章,有介紹如何安裝es和kibana以及ik分詞器
http://www.lxweimin.com/p/f52d9c843bd8

啟動(dòng)后的如下

建立SpringBoot項(xiàng)目

項(xiàng)目結(jié)構(gòu)

添加maven依賴

<parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.11.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>


    <dependencies>
        <!-- springBoot集成kafka -->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
<!--            <version>2.5.1.RELEASE</version>-->
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.70</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.12</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>

配置文件

# kafka
spring:
  data:
    elasticsearch:
      ####集群名稱
      cluster-name: docker-cluster
      ####地址
      cluster-nodes: 192.168.137.5:9300
  kafka:
    # kafka服務(wù)器地址(可以多個(gè))
    bootstrap-servers: 192.168.137.5:9092
    consumer:
      # 指定一個(gè)默認(rèn)的組名
      group-id: kafka2
      # earliest:當(dāng)各分區(qū)下有已提交的offset時(shí)，從提交的offset開(kāi)始消費(fèi)；無(wú)提交的offset時(shí)，從頭開(kāi)始消費(fèi)
      # latest:當(dāng)各分區(qū)下有已提交的offset時(shí)，從提交的offset開(kāi)始消費(fèi)；無(wú)提交的offset時(shí)，消費(fèi)新產(chǎn)生的該分區(qū)下的數(shù)據(jù)
      # none:topic各分區(qū)都存在已提交的offset時(shí)，從offset后開(kāi)始消費(fèi)；只要有一個(gè)分區(qū)不存在已提交的offset，則拋出異常
      auto-offset-reset: earliest
      # key/value的反序列化
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
    producer:
      # key/value的序列化
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      # 批量抓取
      batch-size: 65536
      # 緩存容量
      buffer-memory: 524288

實(shí)體類代碼

@Document(indexName = "student", type = "student")
@Data
public class Student {

    private Integer id;
    private String name;

}

mapper類

public interface StudentMapper extends ElasticsearchRepository<Student, Long> {
}

kafka消費(fèi)者代碼

@Component
public class MembetKafkaConsumer {

    @Autowired
    private StudentMapper studentMapper;

    @KafkaListener(topics = "sunny-topic")
    public void receive(ConsumerRecord<?, ?> consumer) {
        System.out.println("topic名稱:" + consumer.topic() + ",key:" +
                consumer.key() + "," +
                "分區(qū)位置:" + consumer.partition()
                + ", 下標(biāo)" + consumer.offset() + "," + consumer.value());
        String json = (String) consumer.value();
        JSONObject jsonObject = JSONObject.parseObject(json);
        String type = jsonObject.getString("type");
        String pkNames = jsonObject.getJSONArray("pkNames").getString(0);
        JSONArray data = jsonObject.getJSONArray("data");
        for (int i = 0; i < data.size(); i++) {
            JSONObject dataObject = data.getJSONObject(i);
            Student student = dataObject.toJavaObject(Student.class);
            //我這里為了方便,檢測(cè)類型為insert或者update,都統(tǒng)一為save,實(shí)際到es則直接覆蓋掉了
            switch (type) {
                case "UPDATE":
                case "INSERT":
                    studentMapper.save(student);
                    break;
                case "DELETE":
                    studentMapper.delete(student);
                    break;
            }
        }

    }

//    @KafkaListener(topics = "sunny-topic")
//    public void onMessage(String message){
//        //insertIntoDb(buffer);//這里為插入數(shù)據(jù)庫(kù)代碼
//        System.out.println(message);
//    }

}

然后在數(shù)據(jù)庫(kù)中,修改name字段

kafka立馬接收到消息


kibana檢索同步到es的數(shù)據(jù)


到此基于canal+kafka實(shí)現(xiàn)了mysql與es數(shù)據(jù)同步啦

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。