k8s-CSI官方文檔：
https://github.com/kubernetes-csi/docs
https://github.com/container-storage-interface/spec/blob/master/spec.md
為什么要用CSI
首先，CSI 可以滿足不同編排系統(tǒng)的需求，除了k8s，還可以比如 Mesos，Swarm。
其次 ，CSI 是容器化部署，可以減少環(huán)境依賴，增強(qiáng)安全性，豐富插件的功能。
k8s掛載volume的過程
CSI簡(jiǎn)介
CSI 主要包含兩個(gè)部分：CSI Controller Server 與 CSI Node Server。
- Controller Server 是控制端的功能，主要實(shí)現(xiàn)創(chuàng)建、刪除、掛載、卸載等功能；
- Node Server 主要實(shí)現(xiàn)的是節(jié)點(diǎn)上的 mount、Unmount 功能。
CSI Controller Server 和 External CSI SideCar 是通過 Unix Socket 來進(jìn)行通信的，CSI Node Server 和 Kubelet 也是通過 Unix Socket 來通信。
CSI 的接口主要分為三類：通用管控接口、節(jié)點(diǎn)管控接口、中心管控接口。
通用管控接口主要返回 CSI 的一些通用信息，像插件的名字、Driver 的身份信息、插件所提供的能力等；
節(jié)點(diǎn)管控接口的 NodeStageVolume 和 NodeUnstageVolume 就相當(dāng)于 Flexvolume 中的 MountDevice 和 UnmountDevice。NodePublishVolume 和 NodeUnpublishVolume 就相當(dāng)于 SetUp 和 TearDown 接口；
中心管控接口的 CreateVolume 和 DeleteVolume 就是我們的 Provision 和 Delete 存儲(chǔ)卷的一個(gè)接口，ControllerPublishVolume 和 ControllerUnPublishVolume 則分別是 Attach 和 Detach 的接口。
CSI 的系統(tǒng)結(jié)構(gòu)
CSI 是通過 CRD 的形式實(shí)現(xiàn)的，所以 CSI 引入了這么幾個(gè)對(duì)象類型：VolumeAttachment、CSIDriver、CSINode ，以及 CSI Controller Server 與 CSI Node Server 的一個(gè)實(shí)現(xiàn)。
在 CSI Controller Server 中，有傳統(tǒng)的類似 Kubernetes 中的 AD Controller 和 Volume Plugins，VolumeAttachment 對(duì)象就是由它們所創(chuàng)建的。
此外，還包含多個(gè) External Plugin組件，每個(gè)組件和 CSI Plugin 組合的時(shí)候會(huì)完成某種功能。比如：
External Provisioner 和 Controller Server 組合的時(shí)候就會(huì)完成數(shù)據(jù)卷的創(chuàng)建與刪除功能；
External Attacher 和 Controller Server 組合起來可以執(zhí)行數(shù)據(jù)卷的掛載和操作；
External Resizer 和 Controller Server 組合起來可以執(zhí)行數(shù)據(jù)卷的擴(kuò)容操作；
External Snapshotter 和 Controller Server 組合則可以完成快照的創(chuàng)建和刪除。
| 交互 | 過程 |
|---|---|
| External Provisioner + Controller Server | 創(chuàng)建、刪除數(shù)據(jù)卷 |
| External Attacher + Controller Server | 執(zhí)行數(shù)據(jù)卷的掛載、卸載操作 |
| Volume Manager + Volume Plugin + Node Server | 執(zhí)行數(shù)據(jù)卷的Mount、Umount操作 |
| AD Controller + VolumePlugin | 創(chuàng)建、刪除VolumeAttachment對(duì)象 |
| External Resizer + Controller Server | 執(zhí)行數(shù)據(jù)卷的擴(kuò)容操作 |
| ExternalSnapshotter+ControllerServer | 執(zhí)行數(shù)據(jù)卷的備份操作 |
| Driver Registrar + VolumeManager + Node Server | 注冊(cè)CSI插件，創(chuàng)建CSINode對(duì)象 |
CSI對(duì)象
將介紹 3 種對(duì)象：VolumeAttachment，CSIDriver，CSINode。
第一個(gè)對(duì)象是VolumeAttachment ，它描述一個(gè) Volume 卷在一個(gè) Pod 使用中掛載、卸載的相關(guān)信息。例如，對(duì)一個(gè)卷在某個(gè)節(jié)點(diǎn)上的掛載，我們通過 VolumeAttachment 對(duì)該掛載進(jìn)行跟蹤。AD Controller 創(chuàng)建一個(gè) VolumeAttachment，而 External-attacher 則通過觀察該 VolumeAttachment，根據(jù)其狀態(tài)來進(jìn)行掛載和卸載操作。
第二個(gè)對(duì)象是 CSIDriver，它描述了集群中所部署的 CSI Plugin 列表，需要管理員根據(jù)插件類型進(jìn)行創(chuàng)建。例如通過 kuberctl get csidriver 我們可以看到集群里面創(chuàng)建的 3 種類型的 CSI Driver：一個(gè)是云盤；一個(gè)是 NAS；一個(gè)是 OSS。
在 CSI Driver 中，我們定義了它的名字，在 spec 中還定義了 attachRequired 和 podInfoOnMount 兩個(gè)標(biāo)簽。
attachRequired 定義一個(gè) Plugin 是否支持 Attach 功能，主要是為了對(duì)塊存儲(chǔ)和文件存儲(chǔ)做區(qū)分。比如文件存儲(chǔ)不需要 Attach 操作，因此我們將該標(biāo)簽定義為 False；
podInfoOnMount 則是定義 Kubernetes 在調(diào)用 Mount 接口時(shí)是否帶上 Pod 信息。
第三個(gè)對(duì)象是 CSINode，它是集群中的節(jié)點(diǎn)信息，由 node-driver-registrar 在啟動(dòng)時(shí)創(chuàng)建。它的作用是每一個(gè)新的 CSI Plugin 注冊(cè)后，都會(huì)在 CSINode 列表里添加一個(gè) CSINode 信息。
CSI工作原理
CSI Controller，它是以 deployment 的形式運(yùn)行在集群里面，主要負(fù)責(zé) provision 和 attach 工作。當(dāng)然 attach 不是每一個(gè)存儲(chǔ)都會(huì)用到的，而 provision 就是在使用 StorageClass 的時(shí)候會(huì)動(dòng)態(tài)創(chuàng)建 PV 的過程，所以 CSI Controller 在實(shí)現(xiàn) provision 這個(gè)功能的時(shí)候，是 external-provisioner 這個(gè) SideCar 去配合實(shí)現(xiàn)的，在實(shí)現(xiàn) attach 功能的時(shí)候是external-attacher 配合它一起完成的。
注意：動(dòng)態(tài)創(chuàng)建pv才會(huì)走到provision流程，靜態(tài)并不會(huì)。
CSI Node 和 CSI Identity 通常是部署在一個(gè)容器里面的，它們是以 daemonset 的形式運(yùn)行在集群里面，保證每一個(gè)節(jié)點(diǎn)會(huì)有一個(gè) Pod 部署出來，這兩個(gè)組件會(huì)和 CSI Controller 一起完成 volume 的 mount 操作。CSI Identity 是用來告訴 Controller，我現(xiàn)在是哪一個(gè) CSI 插件，它實(shí)現(xiàn)的接口會(huì)被 node-driver-registrar 調(diào)用給 Controller 去注冊(cè)自己。CSI Node 會(huì)實(shí)現(xiàn)一些 publish volume 和 unpublished volume 的接口，Controller 會(huì)去調(diào)用來完成 volume 的 mount 的操作，我們只需要實(shí)現(xiàn)這幾個(gè)插件的接口就可以了。
CSI部署
CSI 主要包含兩個(gè)部分：CSI Controller Server 與 CSI Node Server。分別對(duì)應(yīng)Controller Server Pod和Node Server Pod。
我們只需要部署一個(gè) Controller Server，如果是多備份的，可以部署兩個(gè)。Controller Server 主要是通過多個(gè)外部插件來實(shí)現(xiàn)的，比如說一個(gè) Pod 中可以定義多個(gè) External 的 Container 和一個(gè)包含 CSI Controller Server 的 Container，這時(shí)候不同的 External 組件會(huì)和 Controller Server 組成不同的功能。
Node Server Pod 是個(gè) DaemonSet，它會(huì)在每個(gè)節(jié)點(diǎn)上進(jìn)行注冊(cè)。Kubelet 會(huì)直接通過 Socket 的方式直接和 CSI Node Server 進(jìn)行通信、調(diào)用 Attach/Detach/Mount/Unmount 等。
Driver Registrar 只是做一個(gè)注冊(cè)的功能，會(huì)在每個(gè)節(jié)點(diǎn)上進(jìn)行部署。
文件存儲(chǔ)和塊存儲(chǔ)的部署情況是類似的。只不過它會(huì)把 Attacher 去掉，也沒有 VolumeAttachment 對(duì)象。
CSI 的其它功能
除了掛載、卸載之外，CSI 化提供了一些附加的功能。例如，在定義模板的時(shí)候往往需要一些用戶名和密碼信息，此時(shí)我們就可通過 Secret 來進(jìn)行定義。之前我們所講的 Flexvolume 也支持這個(gè)功能，只不過 CSI 可以根據(jù)不同的階段定義不同的 Secret 類型，比如掛載階段的 Secret、Mount 階段的 Secret、Provision 階段的 Secret。
Reference
[1] 阿里的公開課
[2] 阿里云開源的csi實(shí)現(xiàn)
[3] juicefs-csi-driver的最佳實(shí)踐
