在企業實踐中，通常會部署多個OpenShift集群：開發測試、生產等。每個集群都是獨立的，通過物理資源進行隔離。這種方式管理簡單，易于理解，但是消耗的資源更多，每個集群都需要額外的控制節點及運維節點。有沒有辦法，使不同環境運行在同一個集群上，并且它們之間實現隔離呢？答案是可以的。
對于不同的環境，做好資源隔離，我們需要對計算資源——宿主機做好規劃，同時還需要對網絡做好規劃。宿主機的隔離，可以通過給主機添加label的方法，規劃pod的調度。本篇中，我們只針對網絡Route部分做好開發測試環境與生產環境的隔離。
OpenShift集群Route分片機制
大家都知道OpenShift管理南北流量是通過Route來實現的，所謂的Route本質就是一個Haproxy/Nginx服務，與K8S中的Ingress類似。
默認情況下，OpenShift集群的Router是全局共用的，也就是說，在創建新的Route資源、Pod更新或者證書更新時，所有的OpenShift Router Pod都會更新Haproxy/Nginx的配置，并重新加載。所有的Route后臺應用可以通過任一Router服務訪問。通過創建多個Router服務，并使用Route分片機制，將不同的應用配置到不同的Router上，實現應用Router服務的隔離。下圖為多Router節點分片的架構圖。
該架構圖中，并沒有考慮將節點隔離，只是通過適當的路由來做流量劃分。
- 流量入口為集群外部的負載均衡器。我們只考慮
*.apps-prod.example.com與*.apps-dev.example.com域名訪問情況。
*.apps-prod.example.com域名的后端服務為router-prod
*.apps-dev.example.com域名的后端服務為router-dev - 每個router都強制設置Route的域名subdomain格式【可選】
router-prod路由設置的subdomain為：${name}-${namespace}.apps-prod.example.com
router-dev路由設置的subdomain為：${name}-${namespace}.apps-dev.example.com
$ oc adm router router-prod --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com'
$ oc adm router router-dev --replicas=1 --force-subdomain='${name}-${namespace}.apps-dev.example.com'
對于已完成部署的Router服務可以使用如下命令設置
$ oc adm router router-prod --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com' --dry-run -o yaml | oc apply -f -
此時新建的所有Route的host將無法自定義設置，而會被將被強制設置為兩個，其格式為：${name}-${namespace}.apps-prod.example.com 與${name}-${namespace}.apps-dev.example.com。
- 接下來是最重要的一步，為每個Router應用設置Project過濾器，只有帶有指定Label的Project下的Route資源才能在該Router下創建配置。
router-pod路由設置過濾器為：router=prod
router-dev路由設置過濾器為：router=dev
$ oc set env dc/router-prod NAMESPACE_LABELS="router=prod"
$ oc set env dc/router-dev NAMESPACE_LABELS="router=dev"
- 將對應的router服務與計算節點綁定
確保帶有Labelrouter=prod的Router應用部署在帶有Labelrouter=prod的Infra節點上，同樣帶有Labelrouter=dev的Router應用部署在帶有Labelrouter=dev的Infra節點上。該創建步驟與步驟3合在一起的腳本如下，即在創建的時候指定Node，及環境變量
$ # prod router節點
$ oc label node infra1 "router=prod"
$ oc label node infra2 "router=prod"
$ oc adm router router-prod --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com' --selector=router=prod
$ oc set env dc/router-prod NAMESPACE_LABELS="router=prod"
$ # dev router節點
$ oc label node infra3 "router=dev"
$ oc adm router router-dev --replicas=1 --force-subdomain='${name}-${namespace}.apps-dev.example.com' --selector=router=dev
$ oc set env dc/router-dev NAMESPACE_LABELS="router=dev"
- 設置對應Label的Project，將會自動匹配該Project下的Route資源與Router服務
創建新的project，添加Labelrouter=prod，將會把該Project下的Route資源配置在prod Router服務中，同理Labelrouter=dev下的Route資源配置將會在dev Router服務中配置。
$ # 創建project project-prod-1設置Label router=prod
$ oc new-project project-prod-1
$ oc label namespace project-prod-1 router=prod
$ # 創建project project-dev-1設置Label router=dev
$ oc new-project project-dev-1
$ oc label namespace project-dev-1 router=dev
- 此時創建的應用，將會自動進行Router選擇配置。Project
router=prod下創建的Route將會自動在Routerrouter=prod下配置，同時它的域名格式為：
${name}-${namespace}.apps-prod.example.com。
同樣的Projectrouter=dev下創建的Route將會自動在Routerrouter=dev下配置，同時它的域名格式為：
${name}-${namespace}.apps-dev.example.com。
補充
以上是通過Router啟動添加NAMESPACE_LABEL來設置項目級別的分片，也可以通過為dc/route中的ROUTE_LABEL環境變量來設置Route級別的分配。
- 為dc/route設置ROUTE_LABEL
$ oc set env dc/router-prod ROUTE_LABELS="router=prod"
- 為Route資源對象指定Label
$ oc label route <route=name> router=prod
該route只會部署在設置有router=prod的路由節點上配置。
- 如果要在一臺節點上部署多個Router實例來承載業務，需要注意其HTTP、HTTPS、STATS端口不能重復。該端口可以通過
ROUTER_SERVICE_HTTP_PORT、ROUTER_SERVICE_HTTPS_PORT、ROUTER_LISTEN_ADDR環境變量進行設置。
總結
- 企業級容器云平臺建設之資源管理一文中，總結了資源管理分為四部分：計算、網絡、存儲、鏡像倉庫。真正實現不同環境的隔離，這四個方面都需要考慮。本文的主要內容說明了網絡部分南北流量的隔離。
- 通過Route流量分片機制，將不同環境下的應用部署在同一個OpenShift集群中，在滿足網絡南北流量隔離的情況下，減少了集群的數量，節約管理及硬件成本。
- 要實現集群網絡中東西流量的隔離，可以在不同環境下的宿主機之間建立防火墻來實現，同時也可以使用OpenShift的
ovs-multitenant或者ovs-networkpolicy網絡策略來實現。可閱讀之前寫的文章：Openshift的網絡策略networkpolicy - 計算隔離必須保證不同環境下的應用不會運行在同一臺宿主機下，以避免它們之間相互影響，搶占資源。這就需要使用OpenShift的調度策略來實現。可閱讀之前寫的文章：玩轉Openshift中Pod調度
- 存儲隔離?？梢酝ㄟ^創建不同的storageclass為不同的環境提供服務。
- 鏡像倉庫隔離?？梢詣摻ǘ鄠€鏡像倉庫，同時也可以使用一套鏡像倉庫，而使用不同的project來作鏡像間的邏輯隔離。
參考文章
OpenShift Router Sharding for Production and Development Traffic
OpenShift Route配置加載的機制可以參考文章：OpenShift Router配置重新加載機制
官方文檔：Using the Default HAProxy Router
OpenShift Router Sharding
OpenShift Using Router Shards
