NoSQL概述

隨著互聯網的高速發展,傳統的面向關系型數據庫漸漸無法滿足高速實時 PB級 非結構化數據的存儲.很快Not Only SQL數據庫開始得到普遍的應用,如:面向文檔的MongoDB,面向列的HBase/Cassandra,面向key-value的Redis,以及基于圖像的Neo4j等.但是NoSQL旨在強調Key-Value和文檔數據庫的優點,并非單純的反對關系型數據庫.

結構化數據與非結構化數據

MongoDB

MongoDB是一種基于文檔的開源數據庫,具有高可用,可擴展和高性能的特點.

Document Database

MongoDB中一條記錄對應一個文檔,可以理解成key-value鍵值對的數據結構.文檔與JSON對象非常相似,一個文檔中可以包括其它文檔,數組.這里將MongoDB與SQL中的概念進行羅列與類比.

MongoDB中的數據結構

主要優點

High Performance 高性能
MongoDB高性能體現在數據持久化上,其對嵌入式數據模型的支持降低了數據庫系統的I/O操作,而索引庫使其在數據查詢上表現尤為出色.

Rich Query Language 豐富的查詢語言
MongoDB不但支持簡單的CRUD操作,還支持用戶進行數據聚合,文本搜索以及基于地理位置的查詢.

High Availability 高可用
MongoDB的數據高可用系統叫:replica set.它是一個由一組存有相同數據的鏡像MongoDB服務組成,這一組服務器集群可以在主節點宕機時,自動完成選舉迅速對外恢復訪問接口;同時保證了單點訪問的尷尬;集群中數據一致性通過主節點的oplog文件實現,所有從節點抓取日志,并將日志中的操作加載到內存中,從而保證數據一致性.

Horizontal Scalability 水平擴展
所謂水平擴展是相對垂直擴展而言的.通常,當系統性能不足時,如硬盤空間不足或內存吃緊時,很容易想到給服務器升級硬件,但但往往硬件的升級會帶來相對較高的成本,而且是無止境的.試想,GOOGLE的每一臺服務器都是相同配置的硬件,那么GOOGLE就太不會過日子了.

除了升級硬件,往往會選擇多加幾臺配置相對較低的服務器,這就是水平擴展.MongoDB的replica set對水平擴展有很好的支持,只需要在一臺服務器上裝上MongoDB,讓它與replica set處于可達的網段中,啟動這臺server的mongod服務即可.

Hello MongoDB

說了那么多,有點迫不急待的要去官網上找一下安裝說明.我們也裝一臺MongoDB跑起來,俗話說是螺子是馬拉出來溜溜.

不同的計算機環境,在搭建時步驟不盡相同,不可盲目根據他人的安裝步驟操作,建議讀者去官網找到與自己PC環境相同的安裝說明
這是使用Linux Ret Hat CentOS6.5 64位系統
MongoDB分社區版和企業版,普通用戶自己玩玩就下個社區版足以.

Step1 修改系統包管理器(RHEL是yum)
在/etc/yum.repos.d/目錄下創建一個文件命名為mongodb-org-3.4.repo,這樣可以通過yum為我們在線安裝mongodb-3.4

$ cd /etc/yum.repos.d
$ sudo touch mongodb-org-3.4.repo
$ sudo vi mongodb-org-3.4.repo

將這段內容復制到mongodb-org-3.4.repo中

[mongodb-org-3.4]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc

Step2 安裝MongoDB包及其依賴工具
表格中列出了MongoDB包及其依賴工具,用戶只需安裝mongodb-org即可,yum會根據org中保存的元數據自動為我們安裝server,mongos,shell和tools.

$ sudo yum install mongodb-org -y

MongoDB3.4 Installing~

mongodb-org-server包為mongod服務啟動提供了自動化腳本,用戶可以根據配置文件修改mongod服務.這個配置文件是/etc/mongod.conf,該文件默認將bindIp設置為127.0.0.1,通常在搭建集群時,需要修改為用戶在/etc/sysconfig/network文件中設置的主機名.否則,集群在初始化時,將無法識別這臺主機.

修改主機名及mongod.conf文件

$ sudo vi /etc/sysconfig/network  
  # 主機ip 自己隨意寫一個主機
  # 如:10.211.55.111 mongodb1
$ sudo vi /etc/mongod.conf
  # bindIp mongodb1

Step3 測試MongoDB安裝是否成功

$ sudo service mongod start
$ sudo service mongod status
# mongod(pid 進程號)is running
# 顯示如上即安裝成功

Step4 搭建MongoDB Replica Sets集群

集群結構與環境準備

replica set結構

測試MongoDB之間的通信

# 在zk1上測試與zk2,zk3的通信
$ sudo mongo --host zk2 --port 27017
$ sudo mongo --host zk3 --port 27017

同理

# 在zk2上測試與zk1,zk3的通信
$ sudo mongo --host zk1 --port 27017
$ sudo mongo --host zk3 --port 27017

同理

# 在zk3上測試與zk1,zk2的通信
$ sudo mongo --host zk1 --port 27017
$ sudo mongo --host zk2 --port 27017

結果如下則成功

看看是不是這樣,不是回去反思一下

開始配置

4.1啟動集群下的第一臺MongoDB服務
zk1上啟動MongoDB的守護進程mongod.zk2與zk3做相同的操作,不同處為rs0-1,rs0-2.

# --replSet: replica set 集群名稱
# --dbpath: mongodb服務器數據存儲目錄
$ sudo mkdir /srv/mongodb/rs0-0
$ sudo mongod --port 27017 --dbpath /srv/mongodb/rs0-0 --replSet rs0

4.2通過mongo shell腳本連接replica set "rs0"

$ mongo --host zk1 --port 27017

4.3初始化replica set
NOTE: 只對三個MongoDB實例中的一個進行初始化!!!這里對zk2初始化

> rs.initiate()
> {
    "info2" : "no configuration specified. Using a default configuration for the set",
    "me" : "zk2:27017",
    "ok" : 1
}
> rs.conf()
> {
    "_id" : "rs0",
    "version" : 1,
    "protocolVersion" : NumberLong(1),
    "members" : [
        {
            "_id" : 0,
            "host" : "zk2:27017",
            "arbiterOnly" : false,
            "buildIndexes" : true,
            "hidden" : false,
            "priority" : 1,
            "tags" : {

            },
            "slaveDelay" : NumberLong(0),
            "votes" : 1
        }
    ],
    "settings" : {
        "chainingAllowed" : true,
        "heartbeatIntervalMillis" : 2000,
        "heartbeatTimeoutSecs" : 10,
        "electionTimeoutMillis" : 10000,
        "catchUpTimeoutMillis" : 2000,
        "getLastErrorModes" : {

        },
        "getLastErrorDefaults" : {
            "w" : 1,
            "wtimeout" : 0
        },
        "replicaSetId" : ObjectId("58679a46b38415c5ce99b572")
    }
}

4.4給replica set添加節點
使用rs.add()添加成員之前, 必須確保你的mongo shell連接的是primary節點,我通過4.3將zk2初始化后,它成了replica set "rs0"的primary節點.這里帶需要將zk1,zk3添加到集群中來.

rs0:PRIMARY> rs.add("zk1:27017")
> { "ok" : 1 }
rs0:PRIMARY> rs.add("zk3:27017")
> { "ok" : 1 }
rs0:PRIMARY> rs.status()
> {
    "set" : "rs0",
    "date" : ISODate("2016-12-31T12:15:48.927Z"),
    "myState" : 1,
    "term" : NumberLong(1),
    "heartbeatIntervalMillis" : NumberLong(2000),
    "optimes" : {
        "lastCommittedOpTime" : {
            "ts" : Timestamp(1483186542, 1),
            "t" : NumberLong(1)
        },
        "appliedOpTime" : {
            "ts" : Timestamp(1483186542, 1),
            "t" : NumberLong(1)
        },
        "durableOpTime" : {
            "ts" : Timestamp(1483186542, 1),
            "t" : NumberLong(1)
        }
    },
    "members" : [
        {
            "_id" : 0,
            "name" : "zk2:27017",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 1885,
            "optime" : {
                "ts" : Timestamp(1483186542, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2016-12-31T12:15:42Z"),
            "electionTime" : Timestamp(1483184711, 1),
            "electionDate" : ISODate("2016-12-31T11:45:11Z"),
            "configVersion" : 3,
            "self" : true
        },
        {
            "_id" : 1,
            "name" : "zk3:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 1469,
            "optime" : {
                "ts" : Timestamp(1483186542, 1),
                "t" : NumberLong(1)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1483186542, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2016-12-31T12:15:42Z"),
            "optimeDurableDate" : ISODate("2016-12-31T12:15:42Z"),
            "lastHeartbeat" : ISODate("2016-12-31T12:15:48.327Z"),
            "lastHeartbeatRecv" : ISODate("2016-12-31T12:15:47.312Z"),
            "pingMs" : NumberLong(0),
            "syncingTo" : "zk2:27017",
            "configVersion" : 3
        },
        {
            "_id" : 2,
            "name" : "zk1:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 72,
            "optime" : {
                "ts" : Timestamp(1483186542, 1),
                "t" : NumberLong(1)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1483186542, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2016-12-31T12:15:42Z"),
            "optimeDurableDate" : ISODate("2016-12-31T12:15:42Z"),
            "lastHeartbeat" : ISODate("2016-12-31T12:15:48.327Z"),
            "lastHeartbeatRecv" : ISODate("2016-12-31T12:15:48.451Z"),
            "pingMs" : NumberLong(0),
            "syncingTo" : "zk3:27017",
            "configVersion" : 3
        }
    ],
    "ok" : 1
}

至此一個完整的分布式Replica Sets配置成功!盡情在MongoDB上揮灑青春吧!

參考資料

• 1 MongoDB教程
• 2 Introduction to MongoDB
• 3 Install MongoDB Conmmunitiy on Red Hat
• 4 The mongo Shell
• 5 Sharding
• 6 Replication
• 7 Deploy a Replica Set
• 8 Deploy a Replica Set for Testing and Development
• 9 Replica Set Deployment Architectures

2017寄語

我已經學會不再等待.終究抵不過內心的一點期望,也會想要在這個盲目慶祝的夜晚文藝一把,盡管不知道你會不會來,但我始終在等待,或許會在這片土地上站成永恒.一個人的精彩也是一種煙火,只是寂寞程度不同罷了.

博文地址