kafka筆記
0. Kafka
分布式流處理平臺。
在系統之間構建實時數據流管道。
以topic分類對記錄進行存儲
每個記錄包含key-value+timestamp
每秒鐘百萬消息吞吐量。
producer //消息生產者
consumer //消息消費者
consumer group //消費者組
kafka server //broker,kafka服務器
topic //主題,副本數,分區.
zookeeper //hadoop namenoade + RM HA | hbase | kafka
安裝
- 下載
wget http://mirrors.shu.edu.cn/apache/kafka/2.2.0/kafka_2.12-2.2.0.tgz
-
解壓
tar -zxvf kafka_2.12-2.2.0.tgz -
環境變量
- 建立符號連接 ln -s xxx /soft/kafka
- 配置/etc/profile
1. Kafka
-
配置server.properties
[kafka/config/server.properties] ... broker.id=1 ... listeners=PLAINTEXT://:9092 ... log.dirs=/home/gin/kafka/logs ... zookeeper.connect=localhost:2181 -
啟動kafka
a. 先啟動zk
b. 啟動kafka
kafka-server-start.sh config/server.properties
kafka-server-start.sh daemon config/server.properties 創建主題
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic hellokfk
- 查看主題
kafka-topics.sh --list --zookeeper localhost:2181
- 控制臺生產者
kafka-console-producer.sh --broker-list localhost:9092 --topic hellokfk
- 控制臺消費者
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic hellokfk --from-beginning
1. Kafka在zk中的配置
/brokers/ids/203
/brokers/topics/test/partitions/0/state
/brokers/seqid
/admin/delete_topics
/isr_change_notification
