Kafka 集群安裝步驟

準備工作:配置Java環(huán)境Zookeeper 集群部署

  1. 下載Kafka安裝包
    http://kafka.apache.org/downloads.html 下 載 kafka 的 安 裝 包 kafka_2.11-0.10.1.0.tgz
  2. 解壓并重命名
[root@Server1 local]# tar -zxvf kafka_2.11-0.10.1.0.tgz
[root@Server1 local]# mv kafka_2.11-0.10.1 kafka //該重命名步驟純屬為了以后方便,可以省略 
  1. 修改服務端配置文件
[root@Server1 local]# cd kafka 
[root@Server1 kafka]# cd config 
[root@Server1 config]# vim server.properties
broker.id=0(當前 broker 的編號) 
listeners=PLAINTEXT://192.168.85.5:9092(當前 broker 的 IP) 
zookeeper.connect=192.168.85.5:2181,192.168.85.6:2181, 
delete.topic.enable=true
  1. 修改生產(chǎn)者配置文件
[root@Server1 config]# vim producer.properties
bootstrap.servers=192.168.85.5:9092,192.168.85.6:9092
  1. 修改消費者配置文件
[root@Server1 config]# vim consumer.properties
# Zookeeper connection string
# comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002"
zookeeper.connect=192.168.85.5:2181,192.168.85.6:2181
  1. 然后重復以上步驟,在其它虛擬機上安裝,區(qū)別在于broker.id=0要變?yōu)?1,2......,listeners 所配置的 IP 也要進行相應的更改。
  2. 可以考慮將kafka相關命令配置到環(huán)境變量中。
  3. 進入Kafka安裝目錄的bin目錄下,啟動Kafka
[root@Server1 kafka]#kafka-server-start.sh -daemon config/server.properties

由于 kafka 的啟動依賴于 zookeeper,所以啟動前要保證 zookeeper 啟動成功

  1. Kafka 集群測試(一下皆為 bin 目錄下的操作)
[root@Server1 ~]# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test-topic
Created topic "test-topic".

a) 創(chuàng)建一個topic
b) 查看創(chuàng)建的topic

[root@Server1 ~]# kafka-topics.sh -describe --zookeeper localhost:2181 --topic test-topic

c) Server1 創(chuàng)建一個生產(chǎn)者發(fā)送消息

[root@Server1 ~]# kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic
[2016-10-11 20:54:07,025] aaaaaaaaaaaaaaaaa

d) Server2 創(chuàng)建一個消費者接收消息

[root@Server2 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic
aaaaaaaaaaaaaaaaa

至此,Kafka 集群搭建成功。

  1. 關閉 Kafka
    每一臺機器上執(zhí)行如下命令
[root@Server2 ~]# kafka-server-stop.sh

關閉后使用 jps 命令查看有無 Kafka 進程存在
若自帶腳本無法關閉 kafka,
修改 kafka-server-stop.sh 中的指令如下

PIDS=$(ps ax | grep -i 'kafka' | grep java | grep -v grep | awk '{print $1}')

  或

PIDS=$(jps -l | grep 'kafka\.Kafka' | awk '{print $1}') 
if [ -z "$PIDS" ]; then
    echo "No kafka server to stop"
    exit 1 
else
    kill -s TERM $PIDS 
fi
  • 遇到的錯誤:
WARN Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

-----解決方案:

$ vi /etc/hosts
將`192.168.31.108 hostname`改成`192.168.31.108 localhost hostname`
  • 注: 不修改producer.properties和consumer.properties亦可
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 134,869評論 18 139
  • Kafka入門經(jīng)典教程-Kafka-about云開發(fā) http://www.aboutyun.com/threa...
    葡萄喃喃囈語閱讀 10,869評論 4 54
  • 一、入門1、簡介Kafka is a distributed,partitioned,replicated com...
    HxLiang閱讀 3,408評論 0 9
  • kafka集群搭建 網(wǎng)絡上的博客質量參差不齊,對新手很不友好,我參考了一些博客文檔后,重新寫了一遍kafka的搭建...
    蕭關逢候騎閱讀 27,884評論 5 6
  • ** 今天看了一下kafka官網(wǎng),嘗試著在自己電腦上安裝和配置,然后學一下官方document。** Introd...
    RainChang閱讀 5,039評論 1 30