相關概念

在搭建集群之前，需要首先了解幾個概念：路由，分片、副本集、配置服務器等。

相關概念.png

從圖中可以看到有四個組件：mongos、config server、shard、replica set。

mongos，數據庫集群請求的入口，所有的請求都通過mongos進行協調，不需要在應用程序添加一個路由選擇器，mongos自己就是一個請求分發中心，它負責把對應的數據請求請求轉發到對應的shard服務器上。在生產環境通常有多mongos作為請求的入口，防止其中一個掛掉所有的mongodb請求都沒有辦法操作。

config server，顧名思義為配置服務器，存儲所有數據庫元信息（路由、分片）的配置。mongos本身沒有物理存儲分片服務器和數據路由信息，只是緩存在內存里，配置服務器則實際存儲這些數據。mongos第一次啟動或者關掉重啟就會從 config server 加載配置信息，以后如果配置服務器信息變化會通知到所有的 mongos 更新自己的狀態，這樣 mongos 就能繼續準確路由。在生產環境通常有多個 config server 配置服務器，因為它存儲了分片路由的元數據，防止數據丟失！

shard，分片（sharding）是指將數據庫拆分，將其分散在不同的機器上的過程。將數據分散到不同的機器上，不需要功能強大的服務器就可以存儲更多的數據和處理更大的負載。基本思想就是將集合切成小塊，這些塊分散到若干片里，每個片只負責總數據的一部分，最后通過一個均衡器來對各個分片進行均衡（數據遷移）。

replica set，中文翻譯副本集，其實就是shard的備份，防止shard掛掉之后數據丟失。復制提供了數據的冗余備份，并在多個服務器上存儲數據副本，提高了數據的可用性， 并可以保證數據的安全性。

仲裁者（Arbiter），是復制集中的一個MongoDB實例，它并不保存數據。仲裁節點使用最小的資源并且不要求硬件設備，不能將Arbiter部署在同一個數據集節點中，可以部署在其他應用服務器或者監視服務器中，也可部署在單獨的虛擬機中。為了確保復制集中有奇數的投票成員（包括primary），需要添加仲裁節點做為投票，否則primary不能運行時不會自動切換primary。

簡單了解之后，我們可以這樣總結一下，應用請求mongos來操作mongodb的增刪改查，配置服務器存儲數據庫元信息，并且和mongos做同步，數據最終存入在shard（分片）上，為了防止數據丟失同步在副本集中存儲了一份，仲裁在數據存儲到分片的時候決定存儲到哪個節點。

環境準備

操作系統： centos7
三臺服務器：192.168.0.128/129/130
安裝包：mongodb-linux-x86_64-rhel70-4.0.10.tgz

服務器規劃

服務器規劃.png

端口分配

mongos：20000
config：21000
shard1：27001
shard2：27002
shard3：27003

集群搭建

一、安裝mongodb（三臺都安裝）

1、解壓安裝包改名

#解壓
tar -xzvf mongodb-linux-x86_64-rhel70-4.0.10.tgz -C /usr/local/
#改名
mv mongodb-linux-x86_64-rhel70-4.0.10 mongodb

2、分別在每臺機器建立conf、mongos、config、shard1、shard2、shard3六個目錄，因為mongos不存儲數據，只需要建立日志文件目錄即可。

mkdir -p /usr/local/mongodb/conf
mkdir -p /usr/local/mongodb/mongos/log
mkdir -p /usr/local/mongodb/config/data
mkdir -p /usr/local/mongodb/config/log
mkdir -p /usr/local/mongodb/shard1/data
mkdir -p /usr/local/mongodb/shard1/log
mkdir -p /usr/local/mongodb/shard2/data
mkdir -p /usr/local/mongodb/shard2/log
mkdir -p /usr/local/mongodb/shard3/data
mkdir -p /usr/local/mongodb/shard3/log

3、配置環境變量

vim /etc/profile
# 內容
export MONGODB_HOME=/usr/local/mongodb
export PATH=$MONGODB_HOME/bin:$PATH
# 使立即生效
source /etc/profile

二、config server副本集搭建

編輯配置文件

touch /usr/local/mongodb/conf/config.conf
vim /usr/local/mongodb/conf/config.conf

內容

## 配置文件內容
pidfilepath = /usr/local/mongodb/config/log/configsrv.pid
dbpath = /usr/local/mongodb/config/data
logpath = /usr/local/mongodb/config/log/congigsrv.log
logappend = true

bind_ip = 0.0.0.0
port = 21000
fork = true

#declare this is a config db of a cluster;
configsvr = true

#副本集名稱
replSet=configRS

#設置最大連接數
maxConns=20000

配置文件拷貝到另外服務器

#將配置文件 scp 到另外兩臺機器上
scp /usr/local/mongodb/conf/config.conf root@192.168.10.129:/usr/local/mongodb/conf

啟動三臺服務器的config server

mongod -f /usr/local/mongodb/conf/config.conf

登錄任意一臺配置服務器，初始化配置副本集

mongo --port 21000

#config變量
config = {
...    _id : "configRS",
...    configsvr: true,
...    protocolVersion : 1,
...     members : [
...         {_id : 0, host : "192.168.10.128:21000" },
...         {_id : 1, host : "192.168.10.129:21000" },
...         {_id : 2, host : "192.168.10.130:21000" }
...     ]
... }
#protocolVersion這個要必須有的，否則會報Support for replication protocol version 0 was removed in MongoDB 4.0

#初始化副本集
rs.initiate(config)
#重新配置，當執行過一次初始化時，再修改配置使用這個
rs.reconfig(config, { force: true})

其中，”_id” : “configs”應與配置文件中配置的 replicaction.replSetName 一致，”members” 中的 “host” 為三個節點的 ip 和 port

三、配置分片副本集（三臺服務器均執行）

1、設置第一個分片副本集（三臺機器均設置第一個分片副本集shard1）

編輯配置文件

vim /usr/local/mongodb/conf/shard1.conf

內容

pidfilepath = /usr/local/mongodb/shard1/log/shard1.pid
dbpath = /usr/local/mongodb/shard1/data
logpath = /usr/local/mongodb/shard1/log/shard1.log
logappend = true

bind_ip = 0.0.0.0
port = 27001
fork = true
 
#副本集名稱
replSet=shard1
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#設置最大連接數
maxConns=20000

配置文件拷貝到另外服務器

#將配置文件 scp 到另外兩臺機器上
scp /usr/local/mongodb/conf/shard1.conf root@192.168.10.129:/usr/local/mongodb/conf

啟動三臺服務器的shard1.server

mongod -f /usr/local/mongodb/conf/shard1.conf

登錄128服務器，初始化副本集

mongo --port 27001
#使用admin數據庫
use admin
#定義副本集配置，第三個節點的 arbiterOnly:true 代表其為仲裁節點
config = {
...    _id : "shard1",
...    protocolVersion : 1,
...     members : [
...         {_id : 0, host : "192.168.10.128:27001" },
...         {_id : 1, host : "192.168.10.129:27001" },
...         {_id : 2, host : "192.168.10.130:27001",arbiterOnly:true }
...     ]
... }
#protocolVersion這個要必須有的，否則會報Support for replication protocol version 0 was removed in MongoDB 4.0

#初始化副本集
rs.initiate(config)
#重新配置，當執行過一次初始化時，再修改配置使用這個
rs.reconfig(config, { force: true})

其中，”_id” : “configs”應與配置文件中配置的 replicaction.replSetName 一致，”members” 中的 “host” 為三個節點的 ip 和 port

2、設置第二個分片副本集（三臺機器均設置第一個分片副本集shard2）

配置文件如下

touch /usr/local/mongodb/conf/shard2.conf
vim /usr/local/mongodb/conf/shard2.conf

#配置文件內容
#——————————————–
pidfilepath = /usr/local/mongodb/shard2/log/shard2.pid
dbpath = /usr/local/mongodb/shard2/data
logpath = /usr/local/mongodb/shard2/log/shard2.log
logappend = true

bind_ip = 0.0.0.0
port = 27002
fork = true
 
#副本集名稱
replSet=shard2
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#設置最大連接數
maxConns=20000

配置文件拷貝到另外服務器

#將配置文件 scp 到另外兩臺機器上
scp /usr/local/mongodb/conf/shard2.conf root@192.168.10.129:/usr/local/mongodb/conf

啟動三臺服務器的shard2.server

mongod -f /usr/local/mongodb/conf/shard2.conf

登錄129服務器，初始化副本集

mongo --port 27002
#使用admin數據庫
use admin
#定義副本集配置，第一個節點的 arbiterOnly:true 代表其為仲裁節點
config = {
...    _id : "shard2",
...    protocolVersion : 1,
...     members : [
...         {_id : 0, host : "192.168.10.128:27002" ,arbiterOnly:true},
...         {_id : 1, host : "192.168.10.129:27002" },
...         {_id : 2, host : "192.168.10.130:27002" }
...     ]
... }

#初始化副本集
rs.initiate(config)
#重新配置，當執行過一次初始化時，再修改配置使用這個
rs.reconfig(config, { force: true})

3、設置第三個分片副本集（三臺機器均設置第一個分片副本集shard3）

配置文件如下

touch /usr/local/mongodb/conf/shard3.conf
vim /usr/local/mongodb/conf/shard3.conf

#配置文件內容
#——————————————–
pidfilepath = /usr/local/mongodb/shard3/log/shard3.pid
dbpath = /usr/local/mongodb/shard3/data
logpath = /usr/local/mongodb/shard3/log/shard3.log
logappend = true

bind_ip = 0.0.0.0
port = 27003
fork = true
 
#副本集名稱
replSet=shard3
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#設置最大連接數
maxConns=20000

配置文件拷貝到另外服務器

#將配置文件 scp 到另外兩臺機器上
scp /usr/local/mongodb/conf/shard3.conf root@192.168.10.129:/usr/local/mongodb/conf

啟動三臺服務器的shard3.server

mongod -f /usr/local/mongodb/conf/shard3.conf

登錄130服務器，初始化副本集

mongo --port 27003
#使用admin數據庫
use admin
#定義副本集配置，第二個節點的 arbiterOnly:true 代表其為仲裁節點
config = {
...    _id : "shard3",
...    protocolVersion : 1,
...     members : [
...         {_id : 0, host : "192.168.10.128:27003"},
...         {_id : 1, host : "192.168.10.129:27003" ,arbiterOnly:true},
...         {_id : 2, host : "192.168.10.130:27003" }
...     ]
... }

#初始化副本集
rs.initiate(config)
#重新配置，當執行過一次初始化時，再修改配置使用這個
rs.reconfig(config, { force: true})

四、配置路由服務器mongos

先啟動配置服務器和分片服務器,后啟動路由實例:（三臺機器）

vim /usr/local/mongodb/conf/mongos.conf

#內容
pidfilepath = /usr/local/mongodb/mongos/log/mongos.pid
logpath = /usr/local/mongodb/mongos/log/mongos.log
logappend = true

bind_ip = 0.0.0.0
port = 20000
fork = true

#監聽的配置服務器,只能有1個或者3個 configs為配置服務器的副本集名字
configdb = configRS/192.168.10.128:21000,192.168.10.129:21000,192.168.10.130:21000
 
#設置最大連接數
maxConns=20000

#將配置文件 scp 到另外兩臺機器上
scp /usr/local/mongodb/conf/mongos.conf root@192.168.10.129:/usr/local/mongodb/conf

啟動三臺服務器的mongos server

mongos -f /usr/local/mongodb/conf/mongos.conf

五、啟用分片

目前搭建了mongodb配置服務器、路由服務器，各個分片服務器，不過應用程序連接到mongos路由服務器并不能使用分片機制，還需要在程序里設置分片配置，讓分片生效。
登陸任意一臺mongos

mongo --port 20000
#使用admin數據庫
use admin
#串聯路由服務器與分配副本集
mongos> sh.addShard("shard1/192.168.10.128:27001,192.168.10.129:27001,192.168.10.130:27001")
mongos> sh.addShard("shard2/192.168.10.128:27002,192.168.10.129:27002,192.168.10.130:27002")
mongos> sh.addShard("shard3/192.168.10.128:27003,192.168.10.129:27003,192.168.10.130:27003")
#查看集群狀態
sh.status()

六、測試

目前配置服務、路由服務、分片服務、副本集服務都已經串聯起來了，但我們的目的是希望插入數據，數據能夠自動分片。連接在mongos上，準備讓指定的數據庫、指定的集合分片生效。

#指定testdb分片生效
db.runCommand( { enablesharding :"testdb"});
#指定數據庫里需要分片的集合和片鍵
db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } )

我們設置testdb的 table1 表需要分片，根據 id 自動分片到 shard1 ，shard2，shard3 上面去。要這樣設置是因為不是所有mongodb 的數據庫和表 都需要分片！

測試分片配置結果

mongo  192.168.10.128:20000
#使用testdb
use testdb
#插入測試數據
for (var i = 1; i <= 100; i++){db.table1.save({id:i,"test1":"testval1"});}

#查看分片情況如下，部分無關信息省掉了
db.table1.stats()

{
        "sharded" : true,
        "ns" : "testdb.table1",
        "count" : 100000,
        "numExtents" : 13,
        "size" : 5600000,
        "storageSize" : 22372352,
        "totalIndexSize" : 6213760,
        "indexSizes" : {
                "_id_" : 3335808,
                "id_1" : 2877952
        },
        "avgObjSize" : 56,
        "nindexes" : 2,
        "nchunks" : 3,
        "shards" : {
                "shard1" : {
                        "ns" : "testdb.table1",
                        "count" : 42183,
                        "size" : 0,
                        ...
                        "ok" : 1
                },
                "shard2" : {
                        "ns" : "testdb.table1",
                        "count" : 38937,
                        "size" : 2180472,
                        ...
                        "ok" : 1
                },
                "shard3" : {
                        "ns" : "testdb.table1",
                        "count" :18880,
                        "size" : 3419528,
                        ...
                        "ok" : 1
                }
        },
        "ok" : 1
}

可以看到數據分到3個分片，各自分片數量為： shard1 “count” : 42183，shard2 “count” : 38937，shard3 “count” : 18880。已經成功了！

七、后期使用

mongodb的啟動順序是，先啟動配置服務器，在啟動分片，最后啟動mongos.

mongod -f /usr/local/mongodb/conf/config.conf
mongod -f /usr/local/mongodb/conf/shard1.conf
mongod -f /usr/local/mongodb/conf/shard2.conf
mongod -f /usr/local/mongodb/conf/shard3.conf
mongos -f /usr/local/mongodb/conf/mongos.conf  (看清楚是mongos -f ....)

關閉時，直接killall殺掉所有進程

killall mongod
killall mongos

ps:1、在安裝了最簡版的系統時,killall 命令不能使用 需要執行 yum install psmisc 即可。
2、關閉防火墻：systemctl stop firewalld
3、查看防火墻狀態：firewall-cmd --state
4、禁止防火墻開機啟動：systemctl disable firewalld.server
5、列表端口號：netstat -ntlp

參考博文：https://blog.csdn.net/weixin_39778417/article/details/88107677