RabbitMQ集群HA搭建

集群概述

通過 Erlang 的分布式特性(通過 magic cookie 認證節(jié)點)進行 RabbitMQ 集群,各 RabbitMQ 服務為對等節(jié)點,即每個節(jié)點都提供服務給客戶端連接,進行消息發(fā)送與接收。

這些節(jié)點通過 RabbitMQ HA 隊列(鏡像隊列)進行消息隊列結(jié)構(gòu)復制。本方案中搭建 2 個節(jié)點,并且都是磁盤節(jié)點(所有節(jié)點狀態(tài)保持一致,節(jié)點完全對等),只要有任何一個節(jié)點能夠工作,RabbitMQ 集群對外就能提供服務。

環(huán)境

CentOS7.2
RabbitMQ 3.6.5
HAproxy

RabbitMQ集群安裝在2個節(jié)點上:10.2.2.155、10.2.2.156、10.2.2.157

HAproxy安裝在10.2.2.155上,用于對外提供RabbitMQ負載均衡。

軟件包下載地址

http://pan.baidu.com/s/1c24CMAG

配置步驟

1、安裝erlang、RabbitMQ

在10.2.2.155、10.2.2.156、10.2.2.157上安裝

erlang安裝

安裝依賴包

yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel

編譯安裝

tar -zxvf otp_src_19.0.tar.gz
cd otp_src_19.0
./configure --prefix=/usr/local/bin/erlang --without-javac
make && make install
echo "export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin" >> /etc/profile
source /etc/profile

輸入erl出現(xiàn)命令行證明安裝成功。

RabbitMQ安裝

編譯安裝

wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.5/rabbitmq-server-generic-unix-3.6.5.tar.xz
yum install -y xz
xz -d rabbitmq-server-3.6.3.tar.xz
tar -xvf rabbitmq-server-generic-unix-3.6.5.tar -C /usr/local/bin/
vim /etc/profile
export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin

導入RabbitMQ地管理界面

rabbitmq-plugins enable rabbitmq_management 

2、修改/etc/hosts

寫下

10.2.2.155 node1
10.2.2.156 node2
10.2.2.157 node3

3、設置Erlang Cookie

找到Erlang Cookie 文件.erlang.cookie的位置

官方在介紹集群的文檔中提到過.erlang.cookie一般會存在這兩個地址:第一個是$home/.erlang.cookie;第二個地方就是/var/lib/rabbitmq/.erlang.cookie。

如果我們使用解壓縮方式安裝部署的rabbitmq,那么這個文件會在${home}目錄下,也就是$home/.erlang.cookie。
如果我們使用rpm等安裝包方式進行安裝的,那么這個文件會在/var/lib/rabbitmq目錄下。

這里將 node1 的該文件復制到 node2、node3,注意這個文件的權(quán)限是 400。

4. 使用 -detached 參數(shù)運行各節(jié)點

rabbitmqctl stop
rabbitmq-server -detached

由于guest這個用戶,只能在本地訪問,所以我們要新增一個用戶并賦予權(quán)限:

添加用戶并設置密碼:

rabbitmqctl add_user admin QQzjUUw*

添加權(quán)限:

rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"

修改用戶角色

rabbitmqctl set_user_tags admin administrator

然后就可以遠程訪問了,然后可直接配置用戶權(quán)限等信息。

到此,就可以通過http://ip:15672 使用admin QQzjUUw* 進行登陸了

到這里的話,每個節(jié)點是作為單獨的一臺RabbitMQ存在的,也可以正常提供服務了。

5、組成集群

將 node2、node3與 node1 組成集群:

node2# rabbitmqctl stop_app

node2# rabbitmqctl join_cluster rabbit@node1

node2# rabbitmqctl start_app

此時 node2 與 node3 也會自動建立連接;如果要使用內(nèi)存節(jié)點,則可以使用

node2 # rabbitmqctl join_cluster --ram rabbit@node1

加入集群。

集群配置好后,可以在 RabbitMQ 任意節(jié)點上執(zhí)行 rabbitmqctl cluster_status 來查看是否集群配置成功。

6. 設置鏡像隊列策略

在任意一個節(jié)點上執(zhí)行:

rabbitmqctl set_policy -p /core ha-all "^" '{"ha-mode":"all"}'

/core vhost名稱, "^"匹配所有的隊列, ha-all 策略名稱為ha-all, '{"ha-mode":"all"}' 策略模式為 all 即復制到所有節(jié)點,包含新增節(jié)點。

最后設置完畢后Queues欄下應該是這樣的

queues

列表內(nèi)沒policy這一項的同學可以點右邊的+號添加。

將所有隊列設置為鏡像隊列,即隊列會被復制到各個節(jié)點,各個節(jié)點狀態(tài)保持一直。

完成這 6 個步驟后,RabbitMQ 高可用集群就已經(jīng)搭建好了,最后一個步驟就是搭建均衡器。

7. 安裝并配置 HAProxy

在10.2.2.155上安裝HAProxy,然后修改 /etc/haproxy/haproxy.cfg:

global 
    
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    stats socket /var/lib/haproxy/stats

defaults 
       log        global 
       mode       tcp 
       option     tcplog 
       option     dontlognull 
       retries    3 
       option redispatch 
       maxconn 2000 
       contimeout      5s 
       clitimeout      120s 
       srvtimeout      120s 

listen rabbitmq_cluster 10.2.2.155:5670
       mode      tcp 
       balance roundrobin 
       server rabbit1  10.2.2.155:5672 check inter 5000 rise 2 fall 2 
       server rabbit2  10.2.2.156:5672 check inter 5000 rise 2 fall 2 

listen private_monitoring :8100 
       mode    http 
       option  httplog 
       stats   enable 
       stats   uri  /rabbitmqstats
       stats   refresh 5s

重啟HAProxy

service haproxy restart

登錄瀏覽器輸入地址http://10.2.2.155:8100/rabbitmqstats查看HAProxy的狀態(tài)

常見錯誤:

一、

使用 sudo rabbitmq-server -detached命令啟動rabbitmq時,出現(xiàn)以下提示
Warning: PID file not written; -detached was passed.
ERROR: node with name "rabbit" already running
但是,通過命令sudo rabbitmqctl status又提示rabbitmq沒有啟動
解決:
ps aux | grep erl
kill -9 該進程

二、
rabbitmqctl stop_app 僅關(guān)閉應用,不關(guān)閉節(jié)點
rabbitmqctl start_app 開啟應用
rabbitmq--server -detached 啟動節(jié)點和應用
rabbitmqctl 關(guān)閉節(jié)點和應用

常用命令

Rabbitmq服務器的主要通過rabbitmqctl和rabbimq-plugins兩個工具來管理,以下是一些常用功能。

1). 服務器啟動與關(guān)閉

  啟動: rabbitmq-server –detached
  關(guān)閉:rabbitmqctl stop
  若單機有多個實例,則在rabbitmqctlh后加–n 指定名稱

2). 插件管理

  開啟某個插件:rabbitmq-pluginsenable xxx
  關(guān)閉某個插件:rabbitmq-pluginsdisablexxx
  注意:重啟服務器后生效。

3).virtual_host管理

  新建virtual_host: rabbitmqctladd_vhost  xxx
  撤銷virtual_host:rabbitmqctl  delete_vhost xxx

4). 用戶管理

  新建用戶:rabbitmqctl add_user xxxpwd
  刪除用戶:   rabbitmqctl delete_user xxx
  改密碼: rabbimqctlchange_password {username} {newpassword}
  設置用戶角色:rabbitmqctlset_user_tags {username} {tag ...}
          Tag可以為 administrator,monitoring, management

5). 權(quán)限管理

  權(quán)限設置:set_permissions [-pvhostpath] {user} {conf} {write} {read}
           Vhostpath
           Vhost路徑
           user
  用戶名
          Conf
  一個正則表達式match哪些配置資源能夠被該用戶訪問。
          Write
  一個正則表達式match哪些配置資源能夠被該用戶讀。
           Read
  一個正則表達式match哪些配置資源能夠被該用戶訪問。

6). 獲取服務器狀態(tài)信息

  服務器狀態(tài):rabbitmqctl status

7).獲取集群狀態(tài)信息

rabbitmqctl cluster_status
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內(nèi)容