https://blog.csdn.net/mogoweb/article/details/80633235
這篇深度學(xué)習(xí)環(huán)境配置有兩個關(guān)鍵詞，一個是Docker虛擬機(jī)，另一個是GPU加速。
開始之前
Docker虛擬機(jī)
首先說一下Docker虛擬機(jī)。為什么需要虛擬機(jī)？不知道你是否有過這樣的經(jīng)歷，在github上看到一個有趣的開源項(xiàng)目，把代碼下載下來，按照項(xiàng)目上的說明編譯運(yùn)行，結(jié)果發(fā)現(xiàn)怎么也不能成功。
或者反過來，你開發(fā)了一個不錯的項(xiàng)目，丟到github，并把編譯步驟盡可能詳細(xì)的寫了出來，然而還是有一堆開發(fā)者發(fā)布issue，說代碼編譯運(yùn)行存在問題。你也很無辜啊，明明在我這兒好好的，怎么到了別人那里就狀況百出呢？
為什么會出現(xiàn)這個狀況？主要是軟件行業(yè)講究快速迭代，快步向前，軟件會不停更新。就拿TensorFlow來說，從發(fā)布到現(xiàn)在，不知道更新了多個版本。雖然作為軟件開發(fā)者會盡力保證向前兼容，但實(shí)際上很難做到完美兼容。為了解決這一兼容問題，就有必要使用到虛擬機(jī)，現(xiàn)在很多開源項(xiàng)目都會提供一個虛擬機(jī)文件，里面包含了所有項(xiàng)目所需的軟件包和環(huán)境。
GPU加速
接下來說一下GPU加速。使用Docker虛擬機(jī)解決了開發(fā)環(huán)境問題，但同時(shí)又引入了另一個問題：虛擬機(jī)通常無法啟用GPU。我們知道，深度學(xué)習(xí)屬于計(jì)算密集型應(yīng)用，特別是在訓(xùn)練模型階段，往往需要花上幾個小時(shí)甚至幾十天的時(shí)間來訓(xùn)練一個模型，開啟與不開啟GPU往往有幾十倍的性能差距。作為一名嚴(yán)肅的深度學(xué)習(xí)開發(fā)者，非常有必要使用一臺帶GPU的高性能計(jì)算機(jī)，并開啟GPU支持。
那么問題來了，如何既享受Docker虛擬機(jī)帶來的環(huán)境隔離的便捷，又能體驗(yàn)到GPU加速帶來的性能提升？
有問題，自然會有人站出來提供解決方案。Nvidia公司就為自家的N卡提供了解決方案：nvidia-docker。下面就說說Nvidia的配置方案是怎樣的。
聲明
在開始之前作如下聲明：
- 本文針對的是Nvidia顯卡的配置說明，如果你用的是ATI顯卡或其它品牌顯卡，請出門右轉(zhuǎn)找Google
- 本文針對的是Ubuntu系統(tǒng)的配置說明，這不表示其它操作系統(tǒng)就無法配置，如果你使用的是其它操作系統(tǒng)，請自行百度。
- 本文的實(shí)踐環(huán)境是Ubuntu 16.04 64位操作系統(tǒng)和GTX 960顯卡，其他版本的Ubuntu或者其他型號的Nvidia顯卡，理論上也是適用的，但無法百分之百保證，可能有些步驟需要稍作修改。
在宿主(Host)主機(jī)上安裝CUDA
CUDA（Compute Unified Device Architecture）是一種由NVIDIA推出的通用并行計(jì)算架構(gòu)，該架構(gòu)使GPU能夠解決復(fù)雜的計(jì)算問題。
你的顯卡支持CUDA嗎？
首先確認(rèn)一下顯卡型號，在Linux系統(tǒng)上可以使用lspci命令：
lspci | grep VGA01:00.0 VGA compatible controller: NVIDIA Corporation GM206 [GeForce GTX 960] (rev a1)
可以看出，我的顯卡型號是GeForce GTX 960，前往Nvidia的CUDA GPUs頁面，可以查到，基本上所有的N卡都支持CUDA，自然我的GeForce GTX 960也支持。
安裝最新的CUDA
CUDA的版本一直在更新，截至我寫這篇文章的時(shí)候，最新版本是9.2。當(dāng)然安裝老版本也是可以的，不過我一直秉承著裝新不裝舊的原則，通常都會選擇最新版本。
按照Nvidia的安裝指導(dǎo)，進(jìn)行如下操作：
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_9.2.88-1_amd64.debsudo dpkg --install cuda-repo-ubuntu1604_9.2.88-1_amd64.debsudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
然而，在安裝時(shí)提示以下錯誤：
gpgkeys: protocol `https' not supported
解決方法也很簡單，將所需的包裝上：
sudo apt install gnupg-curl
接下來，就可以像安裝普通的ubuntu軟件包那樣安裝cuda:
sudo apt-get updatesudo apt install cuda
你可以倒杯咖啡，慢慢品嘗，這個步驟可能會花一點(diǎn)時(shí)間，畢竟有差不多3GB的軟件包需要下載。
更新環(huán)境變量
為了避免每次都設(shè)置環(huán)境變量，建議將如下環(huán)境變量設(shè)置加入到~/.bashrc（或~/.profile）文件中：
# for nvidia CUDAexport PATH="/usr/local/cuda-9.2/bin:$PATH"export LD_LIBRARY_PATH="/usr/local/cuda-9.2/lib64:$LD_LIBRARY_PATH"
要讓環(huán)境變量立即生效，可以先注銷，然后再登錄進(jìn)來。或者執(zhí)行如下命令：
source ~/.bashrc
NVIDIA持久守護(hù)進(jìn)程
這一步驟做的事情我并不是十分理解，作用大體上是即使沒有客戶端連接到GPU，持久守護(hù)程序也會保持GPU初始化，并保持CUDA任務(wù)的狀態(tài)。文檔要求這樣做，我們還是照做好了。
首先新建/usr/lib/systemd/system目錄:
sudo mkdir /usr/lib/systemd/system
然后新增/usr/lib/systemd/system/nvidia-persistenced.service文件，其內(nèi)容:
[Unit]Description=NVIDIA Persistence DaemonWants=syslog.target [Service]Type=forkingPIDFile=/var/run/nvidia-persistenced/nvidia-persistenced.pidRestart=alwaysExecStart=/usr/bin/nvidia-persistenced --verboseExecStopPost=/bin/rm -rf /var/run/nvidia-persistenced [Install]WantedBy=multi-user.target
最后啟用該服務(wù)：
sudo systemctl enable nvidia-persistenced
禁用某些UDEV規(guī)則
某個udev規(guī)則（物理設(shè)備和系統(tǒng)之間的接口）會阻止NVIDIA驅(qū)動程序正常工作。為此，編輯/lib/udev/rules.d/40-vm-hotadd.rules，注釋掉memory子系統(tǒng)規(guī)則：
# SUBSYSTEM=="memory", ACTION=="add", DEVPATH=="/devices/system/memory/memory[0-9]*", TEST=="state", ATTR{state}="online"
驗(yàn)證CUDA是否工作
重啟機(jī)器，嘗試編譯CUDA示例來驗(yàn)證CUDA是否正常安裝。可以使用如下命令安裝CUDA示例代碼：
cuda-install-samples-9.1.sh ~
其中 ~ 代表將代碼安裝到HOME目錄下，當(dāng)然你也可以安裝到別的位置。
接下來就是編譯示例代碼：
cd ~/NVIDIA_CUDA-9.2_Samples/make
你又可以來杯咖啡了，取決于你電腦的CPU，這一步驟可能需要幾十分鐘的時(shí)間。
編譯完成后，運(yùn)行其中的一個示例程序:
./bin/x86_64/linux/release/deviceQuery | tail -n 1
如果輸出Result = PASS就表示CUDA是正常工作的。
安裝NVIDIA Docker
首先加入nvidia-docker包列表：
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu16.04/amd64/nvidia-docker.list | \ sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update
接下來，確保你的機(jī)器上安裝的是最新的docker-ce，這意味著如果你之前安裝了docker-engine, docker.io，需要先卸載。別擔(dān)心，這些都是docker家族的成員，只不過在不同時(shí)候取了不同的名稱，最新的docker-ce是這些版本的升級版：
# remove all previous Docker versionssudo apt-get remove docker docker-engine docker.io # add Docker official GPG keycurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - # Add Docker repository (for Ubuntu Xenial)sudo add-apt-repository \ "deb [arch=amd64] https://download.docker.com/linux/ubuntu xenial stable" sudo apt-get updatesudo apt install docker-ce
有了最新的docker，最后來安裝nvidia-docker：
# Install nvidia-docker2 and reload the Docker daemon configurationsudo apt-get install -y nvidia-docker2sudo pkill -SIGHUP dockerd
驗(yàn)證nvidia-docker
進(jìn)行到這一步，nvidia-docker安裝完畢，那如何檢驗(yàn)nvidia-docker正確安裝了呢？
我們可以啟動nvidia提供的docker鏡像，里面有一個實(shí)用程序nvidia-smi，它用來監(jiān)視（并管理）GPU:
docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi
如果得到形如如下的輸出，就說明docker容器GPU已經(jīng)啟用。
[圖片上傳失敗...(image-77dfbd-1552302606190)]
你還可以做一個測試，看看CPU與GPU之間到底有多大的差距。下面是一段來自learningtensorflow.com的基準(zhǔn)測試腳本:
import sysimport numpy as npimport tensorflow as tffrom datetime import datetime device_name = sys.argv[1] # Choose device from cmd line. Options: gpu or cpushape = (int(sys.argv[2]), int(sys.argv[2]))if device_name == "gpu": device_name = "/gpu:0"else: device_name = "/cpu:0" with tf.device(device_name): random_matrix = tf.random_uniform(shape=shape, minval=0, maxval=1) dot_operation = tf.matmul(random_matrix, tf.transpose(random_matrix)) sum_operation = tf.reduce_sum(dot_operation) startTime = datetime.now()with tf.Session(config=tf.ConfigProto(log_device_placement=True)) as session: result = session.run(sum_operation) print(result) # It can be hard to see the results on the terminal with lots of output -- add some newlines to improve readability.print("\n" * 5)print("Shape:", shape, "Device:", device_name)print("Time taken:", str(datetime.now() - startTime))
在當(dāng)前目錄下創(chuàng)建內(nèi)容如上的python文件:benchmark.py，然后啟動支持GPU的tensorflow docker鏡像，運(yùn)行該tensorflow程序：
docker run \ --runtime=nvidia \ --rm \ -ti \ -v "${PWD}:/app" \ tensorflow/tensorflow:latest-gpu \ python /app/benchmark.py cpu 10000
上面的命令是CPU版本的，運(yùn)行完之后，將命令中的cpu參數(shù)修改為gpu，再運(yùn)行一次。
在我的機(jī)器上，結(jié)果分別為：
CPU: ('Time taken:', '0:00:15.342611')GPU: ('Time taken:', '0:00:02.957479')
也許你會覺得就十幾秒的差距，也沒啥？要知道，這可是差不多7倍的差距。加入你的深度學(xué)習(xí)項(xiàng)目采用GPU需要24個小時(shí)，那么不啟用GPU則需要一周的時(shí)間，這個還是有著巨大的差距的。
