ceph 核心組件構成： monitor,osd,mds
     輔助組件：mgr

需求清單

ceph 網絡配置

• public 網絡，是Client、MON、MDS與OSD通信的網絡
• cluster網絡，是OSD與OSD通信通信的網絡

ditaa-2452ee22ef7d825a489a08e0b935453f2b06b0e6 (2).png

實現方式： osd 利用vlan，單osd配置雙網段。

網絡設備：
萬兆接入交換機：單臺服務器，10000bit/s*2

組件配置

mon：

• CPU 核數
  3（建議1核以上）
• RAM 16G （越多越好）
• DISK 100G (10G)
• NIC 1*10G

OSD:

• CPU 2 核（建議2核以上）
• RAM 8G （一個OSD進程配置 RAM大小為 1GB每1TB硬盤）
• DISK
  journal: pice ssd 10G（osd 與ssd 多對1）
  osd journal（ssd） size = <2 * (expected throughput * filestore max sync interval)

The expected throughput number should include the expected disk throughput (i.e., sustained data transfer rate), and network throughput. For example, a 7200 RPM disk will likely have approximately 100 MB/s. Taking the min() of the disk and network throughput should provide a reasonable expected throughput. Some users just start off with a 10GB journal size.

data: hdd (osd 與hdd 一對一)

• NIC 2*10G

MDS: CPU密集型

• cpu 4核（四核或更多的CPU）
• RAM 16G 以上 （越多越好）
• DISK 10G (基本無本地數據)
• NIC 1*10G

服務器需求

存儲型 21臺

配置：

• DISK
  1* pice ssd 200G （性能型1:12 普通hdd）
  11 * 8T hdd, 其中10個做osd， 另一個做輔助程序的磁盤（domeos）
• RAM
  大于 100 G
• NIC
  雙網段萬兆
• cpu
  20 核以上
  用途：
  用于部署osd server

非存儲型8臺

配置：

• DISK
  2 * hdd 500G
• RAM
  128G
• NIC
  單萬兆
• cpu
  24 核以上
  用途
  其中5臺部署 monitor， 3臺部署mds，2主1備（集群）或者 1主2備（主備）

ceph 容災域規劃

生產集群設計容災域最小為：RACK
需要21 個 osd 節點的部署方式 按照7：7: 7 分布到三個rack上。
通過設計ceph rule規則規劃pool的分布到三rack。

繪圖1.jpg

容災域設置
命令：

ceph osd crush add-bucket 02 row
ceph osd crush move 02 root=default
ceph osd crush add-bucket 02-06 rack
ceph osd crush move 02-06 row=02
sudo ceph osd crush move ip-10-25-194-2 rack=02-06

或者直接編輯crashmap 重新加載到monitor

軟件配置

ceph 版本： Luminous（12.2.X）

對比之前的版本

• MDS 多活

在Luminous（12.2.x）版本發布之前，在單個文件系統中運行多個活動元數據服務器被認為是實驗性的。現在，新文件系統上默認允許創建多個活動元數據服務器。

• blueStore

  blueStore 可用在高性能存儲 （sata ssd 搭配 pice/nvme ssd）

os文件系統

  推薦xfs

server端kernal要求：

建議最的LTS kernel新版本

As a general rule, we recommend deploying Ceph on newer releases of Linux. We also recommend deploying on releases with long-term support.

當前的最新linux kernel LTS版本

• 4.14.z
• 4.9.z

客戶端內核要求：

客戶端版本較低時需要diable服務器端的部分feature才可掛載。

監控報警

ceph監控面板：

image.png