遇到的問題

程序使用的是ps,worker的分布式訓練程序。
如果是用如下的方式：

1. 建立若干pods
2. 獲取pods的IP地址
3. kubectl exec進入每個pods執行腳本命令

這樣的方式明顯不夠簡潔易用。
若想只通過配置yaml文件就可以自動開始訓練，首先要解決的問題是：

程序需要預先知道所有的ps和work的ip和端口。

解決思路

在Kubernetes中，pods的ip是不穩定的。這個可以使用service來代替。
訪問service的方式有兩種：1.環境變量，2.DNS
第一種方法環境變量有個缺陷，就是在pods之后建立的service無法訪問，沒有該service的環境變量。
第二種方式則沒有第一種的缺陷，任何時間創建的service都能夠被service訪問到。

所以可以通過創建service的方式，讓最終運行的程序各個pods都能知道ps和worker的ip和端口。

創建service

yaml文件內容如下

apiVersion: v1
kind: Service
metadata:
  labels:
    name: tensorflow-ps
    role: service
  name: tensorflow-ps-service
spec:
  ports:
    - port: 2222
      targetPort: 2222
  selector:
    name: tensorflow-ps

查看service

# kubectl get svc
NAME                    TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE
tensorflow-ps-service   ClusterIP   10.108.188.51   <none>        2222/TCP   61m
tf22                    ClusterIP   10.104.32.47    <none>        2222/TCP   37m

啟動一個pod驗證是否可以找到service的IP

apiVersion: v1
kind: Pod
metadata:
  name: tf
spec:
  containers:
  - image: tensorflow/tensorflow:1.13.1-gpu-py3-jupyter
    command:
      - sleep
      - "3600"
    name: tf

kubectl exec -it tf bash進入pod中，執行

root@tf:/tf# python -c "import socket;print(socket.gethostbyname('www.baidu.com'))"
103.235.46.39
root@tf:/tf# python -c "import socket;print(socket.gethostbyname('tensorflow-ps-service.default.svc.cluster.local'))"
10.108.188.51

最終發現獲取的ip和kubectl get svc顯示的ip一致。
再啟動一個名字為tf22的service。同樣可以得到正確的ip。

root@tf:/tf# python -c "import socket;print(socket.gethostbyname('tf22.default.svc.cluster.local'))"
10.104.32.47

# 使用printenv命令
HOME=/root
KUBERNETES_PORT_443_TCP_PROTO=tcp
KUBERNETES_SERVICE_PORT_HTTPS=443
TENSORFLOW_PS_SERVICE_SERVICE_PORT=2222
TENSORFLOW_PS_SERVICE_PORT=tcp://10.108.188.51:2222
KUBERNETES_PORT_443_TCP_ADDR=10.96.0.1
KUBERNETES_PORT_443_TCP=tcp://10.96.0.1:443
TENSORFLOW_PS_SERVICE_PORT_2222_TCP_ADDR=10.108.188.51
_=/usr/bin/printenv

可以看到只有pod創建前的service變量。
再查看pod的dns，發現是10.96.0.10

root@tf:/tf# cat /etc/resolv.conf 
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local
options ndots:5

而kubernetes的dns服務的ip正是10.96.0.10

# kubectl get svc --namespace=kube-system
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP   17d

使用job將應用連接到 Service

apiVersion: batch/v1
kind: Job
metadata:
  name: tensorflow-ps-rc
spec:
  template:
    metadata:
      labels:
        name: tensorflow-ps
        role: ps
    spec:
      containers:
      - name: ps
        image: nvcr.io/nvidia/tensorflow:19.02-py3
        ports:
        - containerPort: 2222
        command: ["/bin/sh", "-c"]
        args: ["cd /root/tensorflow; \
                python3 mnist.py  \
                   --ps_hosts=tensorflow-ps-service.default.svc.cluster.local:2222 \
                   --worker_hosts=tensorflow-wk-service0.default.svc.cluster.local:2222,tensorflow-wk-service1.default.svc.cluster.local:2222 \
                   --job_name=ps \
                   --task_index=0 
              "]
        volumeMounts:
        - name: work-path
          mountPath: /root/tensorflow
          readOnly: false
      restartPolicy: Never
      volumes:
      - name: work-path
        hostPath: 
          path: /mnt/data/private/zdd/workspace/k8s-tensorflow/examples/mnist_dist
      nodeName: omnisky

利用labels和selectors

上面的service的yaml中含有標簽選擇器

  selector:
    name: tensorflow-ps

而job創建的容器中則打了標簽

spec:
  template:
    metadata:
      labels:
        name: tensorflow-ps
        role: ps