https://blog.csdn.net/mogoweb/article/details/80633235
這篇深度學習環境配置有兩個關鍵詞，一個是Docker虛擬機，另一個是GPU加速。
開始之前
Docker虛擬機
首先說一下Docker虛擬機。為什么需要虛擬機？不知道你是否有過這樣的經歷，在github上看到一個有趣的開源項目，把代碼下載下來，按照項目上的說明編譯運行，結果發現怎么也不能成功。
或者反過來，你開發了一個不錯的項目，丟到github，并把編譯步驟盡可能詳細的寫了出來，然而還是有一堆開發者發布issue，說代碼編譯運行存在問題。你也很無辜啊，明明在我這兒好好的，怎么到了別人那里就狀況百出呢？
為什么會出現這個狀況？主要是軟件行業講究快速迭代，快步向前，軟件會不停更新。就拿TensorFlow來說，從發布到現在，不知道更新了多個版本。雖然作為軟件開發者會盡力保證向前兼容，但實際上很難做到完美兼容。為了解決這一兼容問題，就有必要使用到虛擬機，現在很多開源項目都會提供一個虛擬機文件，里面包含了所有項目所需的軟件包和環境。
GPU加速
接下來說一下GPU加速。使用Docker虛擬機解決了開發環境問題，但同時又引入了另一個問題：虛擬機通常無法啟用GPU。我們知道，深度學習屬于計算密集型應用，特別是在訓練模型階段，往往需要花上幾個小時甚至幾十天的時間來訓練一個模型，開啟與不開啟GPU往往有幾十倍的性能差距。作為一名嚴肅的深度學習開發者，非常有必要使用一臺帶GPU的高性能計算機，并開啟GPU支持。
那么問題來了，如何既享受Docker虛擬機帶來的環境隔離的便捷，又能體驗到GPU加速帶來的性能提升？
有問題，自然會有人站出來提供解決方案。Nvidia公司就為自家的N卡提供了解決方案：nvidia-docker。下面就說說Nvidia的配置方案是怎樣的。
聲明
在開始之前作如下聲明：
- 本文針對的是Nvidia顯卡的配置說明，如果你用的是ATI顯卡或其它品牌顯卡，請出門右轉找Google
- 本文針對的是Ubuntu系統的配置說明，這不表示其它操作系統就無法配置，如果你使用的是其它操作系統，請自行百度。
- 本文的實踐環境是Ubuntu 16.04 64位操作系統和GTX 960顯卡，其他版本的Ubuntu或者其他型號的Nvidia顯卡，理論上也是適用的，但無法百分之百保證，可能有些步驟需要稍作修改。
在宿主(Host)主機上安裝CUDA
CUDA（Compute Unified Device Architecture）是一種由NVIDIA推出的通用并行計算架構，該架構使GPU能夠解決復雜的計算問題。
你的顯卡支持CUDA嗎？
首先確認一下顯卡型號，在Linux系統上可以使用lspci命令：
lspci | grep VGA01:00.0 VGA compatible controller: NVIDIA Corporation GM206 [GeForce GTX 960] (rev a1)
可以看出，我的顯卡型號是GeForce GTX 960，前往Nvidia的CUDA GPUs頁面，可以查到，基本上所有的N卡都支持CUDA，自然我的GeForce GTX 960也支持。
安裝最新的CUDA
CUDA的版本一直在更新，截至我寫這篇文章的時候，最新版本是9.2。當然安裝老版本也是可以的，不過我一直秉承著裝新不裝舊的原則，通常都會選擇最新版本。
按照Nvidia的安裝指導，進行如下操作：
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_9.2.88-1_amd64.debsudo dpkg --install cuda-repo-ubuntu1604_9.2.88-1_amd64.debsudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
然而，在安裝時提示以下錯誤：
gpgkeys: protocol `https' not supported
解決方法也很簡單，將所需的包裝上：
sudo apt install gnupg-curl
接下來，就可以像安裝普通的ubuntu軟件包那樣安裝cuda:
sudo apt-get updatesudo apt install cuda
你可以倒杯咖啡，慢慢品嘗，這個步驟可能會花一點時間，畢竟有差不多3GB的軟件包需要下載。
更新環境變量
為了避免每次都設置環境變量，建議將如下環境變量設置加入到~/.bashrc（或~/.profile）文件中：
# for nvidia CUDAexport PATH="/usr/local/cuda-9.2/bin:$PATH"export LD_LIBRARY_PATH="/usr/local/cuda-9.2/lib64:$LD_LIBRARY_PATH"
要讓環境變量立即生效，可以先注銷，然后再登錄進來。或者執行如下命令：
source ~/.bashrc
NVIDIA持久守護進程
這一步驟做的事情我并不是十分理解，作用大體上是即使沒有客戶端連接到GPU，持久守護程序也會保持GPU初始化，并保持CUDA任務的狀態。文檔要求這樣做，我們還是照做好了。
首先新建/usr/lib/systemd/system目錄:
sudo mkdir /usr/lib/systemd/system
然后新增/usr/lib/systemd/system/nvidia-persistenced.service文件，其內容:
[Unit]Description=NVIDIA Persistence DaemonWants=syslog.target [Service]Type=forkingPIDFile=/var/run/nvidia-persistenced/nvidia-persistenced.pidRestart=alwaysExecStart=/usr/bin/nvidia-persistenced --verboseExecStopPost=/bin/rm -rf /var/run/nvidia-persistenced [Install]WantedBy=multi-user.target
最后啟用該服務：
sudo systemctl enable nvidia-persistenced
禁用某些UDEV規則
某個udev規則（物理設備和系統之間的接口）會阻止NVIDIA驅動程序正常工作。為此，編輯/lib/udev/rules.d/40-vm-hotadd.rules，注釋掉memory子系統規則：
# SUBSYSTEM=="memory", ACTION=="add", DEVPATH=="/devices/system/memory/memory[0-9]*", TEST=="state", ATTR{state}="online"
驗證CUDA是否工作
重啟機器，嘗試編譯CUDA示例來驗證CUDA是否正常安裝?？梢允褂萌缦旅畎惭bCUDA示例代碼：
cuda-install-samples-9.1.sh ~
其中 ~ 代表將代碼安裝到HOME目錄下，當然你也可以安裝到別的位置。
接下來就是編譯示例代碼：
cd ~/NVIDIA_CUDA-9.2_Samples/make
你又可以來杯咖啡了，取決于你電腦的CPU，這一步驟可能需要幾十分鐘的時間。
編譯完成后，運行其中的一個示例程序:
./bin/x86_64/linux/release/deviceQuery | tail -n 1
如果輸出Result = PASS就表示CUDA是正常工作的。
安裝NVIDIA Docker
首先加入nvidia-docker包列表：
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu16.04/amd64/nvidia-docker.list | \ sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update
接下來，確保你的機器上安裝的是最新的docker-ce，這意味著如果你之前安裝了docker-engine, docker.io，需要先卸載。別擔心，這些都是docker家族的成員，只不過在不同時候取了不同的名稱，最新的docker-ce是這些版本的升級版：
# remove all previous Docker versionssudo apt-get remove docker docker-engine docker.io # add Docker official GPG keycurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - # Add Docker repository (for Ubuntu Xenial)sudo add-apt-repository \ "deb [arch=amd64] https://download.docker.com/linux/ubuntu xenial stable" sudo apt-get updatesudo apt install docker-ce
有了最新的docker，最后來安裝nvidia-docker：
# Install nvidia-docker2 and reload the Docker daemon configurationsudo apt-get install -y nvidia-docker2sudo pkill -SIGHUP dockerd
驗證nvidia-docker
進行到這一步，nvidia-docker安裝完畢，那如何檢驗nvidia-docker正確安裝了呢？
我們可以啟動nvidia提供的docker鏡像，里面有一個實用程序nvidia-smi，它用來監視（并管理）GPU:
docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi
如果得到形如如下的輸出，就說明docker容器GPU已經啟用。
[圖片上傳失敗...(image-77dfbd-1552302606190)]
你還可以做一個測試，看看CPU與GPU之間到底有多大的差距。下面是一段來自learningtensorflow.com的基準測試腳本:
import sysimport numpy as npimport tensorflow as tffrom datetime import datetime device_name = sys.argv[1] # Choose device from cmd line. Options: gpu or cpushape = (int(sys.argv[2]), int(sys.argv[2]))if device_name == "gpu": device_name = "/gpu:0"else: device_name = "/cpu:0" with tf.device(device_name): random_matrix = tf.random_uniform(shape=shape, minval=0, maxval=1) dot_operation = tf.matmul(random_matrix, tf.transpose(random_matrix)) sum_operation = tf.reduce_sum(dot_operation) startTime = datetime.now()with tf.Session(config=tf.ConfigProto(log_device_placement=True)) as session: result = session.run(sum_operation) print(result) # It can be hard to see the results on the terminal with lots of output -- add some newlines to improve readability.print("\n" * 5)print("Shape:", shape, "Device:", device_name)print("Time taken:", str(datetime.now() - startTime))
在當前目錄下創建內容如上的python文件:benchmark.py，然后啟動支持GPU的tensorflow docker鏡像，運行該tensorflow程序：
docker run \ --runtime=nvidia \ --rm \ -ti \ -v "${PWD}:/app" \ tensorflow/tensorflow:latest-gpu \ python /app/benchmark.py cpu 10000
上面的命令是CPU版本的，運行完之后，將命令中的cpu參數修改為gpu，再運行一次。
在我的機器上，結果分別為：
CPU: ('Time taken:', '0:00:15.342611')GPU: ('Time taken:', '0:00:02.957479')
也許你會覺得就十幾秒的差距，也沒啥？要知道，這可是差不多7倍的差距。加入你的深度學習項目采用GPU需要24個小時，那么不啟用GPU則需要一周的時間，這個還是有著巨大的差距的。
