集群概述
通過 Erlang 的分布式特性(通過 magic cookie 認證節(jié)點)進行 RabbitMQ 集群,各 RabbitMQ 服務為對等節(jié)點,即每個節(jié)點都提供服務給客戶端連接,進行消息發(fā)送與接收。
這些節(jié)點通過 RabbitMQ HA 隊列(鏡像隊列)進行消息隊列結(jié)構(gòu)復制。本方案中搭建 2 個節(jié)點,并且都是磁盤節(jié)點(所有節(jié)點狀態(tài)保持一致,節(jié)點完全對等),只要有任何一個節(jié)點能夠工作,RabbitMQ 集群對外就能提供服務。
環(huán)境
CentOS7.2
RabbitMQ 3.6.5
HAproxy
RabbitMQ集群安裝在2個節(jié)點上:10.2.2.155、10.2.2.156、10.2.2.157
HAproxy安裝在10.2.2.155上,用于對外提供RabbitMQ負載均衡。
軟件包下載地址
http://pan.baidu.com/s/1c24CMAG
配置步驟
1、安裝erlang、RabbitMQ
在10.2.2.155、10.2.2.156、10.2.2.157上安裝
erlang安裝
安裝依賴包
yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel
編譯安裝
tar -zxvf otp_src_19.0.tar.gz
cd otp_src_19.0
./configure --prefix=/usr/local/bin/erlang --without-javac
make && make install
echo "export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin" >> /etc/profile
source /etc/profile
輸入erl出現(xiàn)命令行證明安裝成功。
RabbitMQ安裝
編譯安裝
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.5/rabbitmq-server-generic-unix-3.6.5.tar.xz
yum install -y xz
xz -d rabbitmq-server-3.6.3.tar.xz
tar -xvf rabbitmq-server-generic-unix-3.6.5.tar -C /usr/local/bin/
vim /etc/profile
export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin
導入RabbitMQ地管理界面
rabbitmq-plugins enable rabbitmq_management
2、修改/etc/hosts
寫下
10.2.2.155 node1
10.2.2.156 node2
10.2.2.157 node3
3、設置Erlang Cookie
找到Erlang Cookie 文件.erlang.cookie的位置
官方在介紹集群的文檔中提到過.erlang.cookie一般會存在這兩個地址:第一個是$home/.erlang.cookie;第二個地方就是/var/lib/rabbitmq/.erlang.cookie。
如果我們使用解壓縮方式安裝部署的rabbitmq,那么這個文件會在${home}目錄下,也就是$home/.erlang.cookie。
如果我們使用rpm等安裝包方式進行安裝的,那么這個文件會在/var/lib/rabbitmq目錄下。
這里將 node1 的該文件復制到 node2、node3,注意這個文件的權(quán)限是 400。
4. 使用 -detached 參數(shù)運行各節(jié)點
rabbitmqctl stop
rabbitmq-server -detached
由于guest這個用戶,只能在本地訪問,所以我們要新增一個用戶并賦予權(quán)限:
添加用戶并設置密碼:
rabbitmqctl add_user admin QQzjUUw*
添加權(quán)限:
rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"
修改用戶角色
rabbitmqctl set_user_tags admin administrator
然后就可以遠程訪問了,然后可直接配置用戶權(quán)限等信息。
到此,就可以通過http://ip:15672 使用admin QQzjUUw* 進行登陸了
到這里的話,每個節(jié)點是作為單獨的一臺RabbitMQ存在的,也可以正常提供服務了。
5、組成集群
將 node2、node3與 node1 組成集群:
node2# rabbitmqctl stop_app
node2# rabbitmqctl join_cluster rabbit@node1
node2# rabbitmqctl start_app
此時 node2 與 node3 也會自動建立連接;如果要使用內(nèi)存節(jié)點,則可以使用
node2 # rabbitmqctl join_cluster --ram rabbit@node1
加入集群。
集群配置好后,可以在 RabbitMQ 任意節(jié)點上執(zhí)行 rabbitmqctl cluster_status 來查看是否集群配置成功。
6. 設置鏡像隊列策略
在任意一個節(jié)點上執(zhí)行:
rabbitmqctl set_policy -p /core ha-all "^" '{"ha-mode":"all"}'
/core vhost名稱, "^"匹配所有的隊列, ha-all 策略名稱為ha-all, '{"ha-mode":"all"}' 策略模式為 all 即復制到所有節(jié)點,包含新增節(jié)點。
最后設置完畢后Queues欄下應該是這樣的
列表內(nèi)沒policy這一項的同學可以點右邊的+號添加。
將所有隊列設置為鏡像隊列,即隊列會被復制到各個節(jié)點,各個節(jié)點狀態(tài)保持一直。
完成這 6 個步驟后,RabbitMQ 高可用集群就已經(jīng)搭建好了,最后一個步驟就是搭建均衡器。
7. 安裝并配置 HAProxy
在10.2.2.155上安裝HAProxy,然后修改 /etc/haproxy/haproxy.cfg:
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
stats socket /var/lib/haproxy/stats
defaults
log global
mode tcp
option tcplog
option dontlognull
retries 3
option redispatch
maxconn 2000
contimeout 5s
clitimeout 120s
srvtimeout 120s
listen rabbitmq_cluster 10.2.2.155:5670
mode tcp
balance roundrobin
server rabbit1 10.2.2.155:5672 check inter 5000 rise 2 fall 2
server rabbit2 10.2.2.156:5672 check inter 5000 rise 2 fall 2
listen private_monitoring :8100
mode http
option httplog
stats enable
stats uri /rabbitmqstats
stats refresh 5s
重啟HAProxy
service haproxy restart
登錄瀏覽器輸入地址http://10.2.2.155:8100/rabbitmqstats查看HAProxy的狀態(tài)
常見錯誤:
一、
使用 sudo rabbitmq-server -detached命令啟動rabbitmq時,出現(xiàn)以下提示
Warning: PID file not written; -detached was passed.
ERROR: node with name "rabbit" already running
但是,通過命令sudo rabbitmqctl status又提示rabbitmq沒有啟動
解決:
ps aux | grep erl
kill -9 該進程
二、
rabbitmqctl stop_app 僅關(guān)閉應用,不關(guān)閉節(jié)點
rabbitmqctl start_app 開啟應用
rabbitmq--server -detached 啟動節(jié)點和應用
rabbitmqctl 關(guān)閉節(jié)點和應用
常用命令
Rabbitmq服務器的主要通過rabbitmqctl和rabbimq-plugins兩個工具來管理,以下是一些常用功能。
1). 服務器啟動與關(guān)閉
啟動: rabbitmq-server –detached
關(guān)閉:rabbitmqctl stop
若單機有多個實例,則在rabbitmqctlh后加–n 指定名稱
2). 插件管理
開啟某個插件:rabbitmq-pluginsenable xxx
關(guān)閉某個插件:rabbitmq-pluginsdisablexxx
注意:重啟服務器后生效。
3).virtual_host管理
新建virtual_host: rabbitmqctladd_vhost xxx
撤銷virtual_host:rabbitmqctl delete_vhost xxx
4). 用戶管理
新建用戶:rabbitmqctl add_user xxxpwd
刪除用戶: rabbitmqctl delete_user xxx
改密碼: rabbimqctlchange_password {username} {newpassword}
設置用戶角色:rabbitmqctlset_user_tags {username} {tag ...}
Tag可以為 administrator,monitoring, management
5). 權(quán)限管理
權(quán)限設置:set_permissions [-pvhostpath] {user} {conf} {write} {read}
Vhostpath
Vhost路徑
user
用戶名
Conf
一個正則表達式match哪些配置資源能夠被該用戶訪問。
Write
一個正則表達式match哪些配置資源能夠被該用戶讀。
Read
一個正則表達式match哪些配置資源能夠被該用戶訪問。
6). 獲取服務器狀態(tài)信息
服務器狀態(tài):rabbitmqctl status
7).獲取集群狀態(tài)信息
rabbitmqctl cluster_status