最近決定開始從項目入手實戰機器學習,第一步是在Ubuntu上搭建深度學習的環境,主要參考各個框架的官網和機器之心的這篇的文章:從零開始:深度學習軟件環境安裝指南。本文主要記錄按照指南安裝過程中遇到的一些問題。
搭建深度學習環境的各種庫間的依賴關系如下圖所示:
當然深度學習的框架還有很多,例如早期的Caffe、MXNet、百度的PaddlePaddle、阿里的PAI人工智能平臺等,不過我認為初期學習時還是應先專注于某一種深入學習,由此入門以求融會貫通。
安裝Python3.6
//添加python3.6安裝包,并且安裝
sudo apt-get install software-properties-common
//下載python3.6
sudo add-apt-repository ppa:jonathonf/python-3.6
sudo apt-get update
sudo apt-get install python3.6
//修改系統默認python版本為3.6,并更新
cd /user/bin
//刪除當前的python.link
rm python
ln -s python3.6m python
python pip install --upgrade pip
update可更換清華的源https://mirror.tuna.tsinghua.edu.cn/help/ubuntu/
更新pip后Import Error:cannot import name main解決方案
https://blog.csdn.net/tintinetmilou/article/details/80091630
注意不要刪除系統自帶的3.5以及2.7版本,因為系統有很多依賴可能會因此崩潰。如果刪除的話執行下面的命令重啟恢復
sudo apt-get install ubuntu-minimal ubuntu-standard ubuntu-desktop
Installing Anaconda
推薦使用 Anaconda Python distribution,
- 設置虛擬環境
conda create -n cs231n python=3.6 anaconda
to create an environment called cs231n
.
Then, to activate and enter the environment, run
source activate cs231n
To exit, you can simply close the window, or run
source deactivate cs231n
Note that every time you want to work on the assignment, you should run source activate cs231n
(change to the name of your virtual env).
You may refer to this page for more detailed instructions on managing virtual environments with Anaconda.
Python virtualenv: Alternatively, you may use python virtualenv for the project. To set up a virtual environment, run the following:
安裝Nvidia GPU driver
#顯示與系統兼容的驅動版本
sudo add-apt-repository ppa:graphics-drivers/ppa
#添加并安裝資源庫,注意update與upgrade的區別
sudo apt-get update
sudo apt-get install nvidia-<driver_number>
安裝CUDA與cuDNN
在Nvidia官網下載CUDA和cuDNN,按照官網指南下載即可,值得注意的是目前官網提供的版本是CUDA 9.0和cuDNN 7.0,而我們之后需要安裝的框架提供的支持是CUDA 8.0,這會帶來之后安裝的一系列問題。
安裝PyTorch
PyTorch的安裝按照官網給出的命令即可,PyTorch 運行在 torchvision 和 torch兩個庫上,可以使用pip工具進行安裝。Pip的安裝升級可以使用如下命令:
sudo apt-get install python-pip python-dev
sudo pip install --upgrade pip
安裝Tensorflow
Tensorflow的安裝可以參考官網的指南,不過由于Tensorflow官方版本目前不支持CUDA9,直接使用pip安裝會在import tensorflow時出現如下錯誤:
ImportError: libcusolver.so.8.0: cannot open shared object file: No such file or directory
這是因為在 /usr/local/cuda/lib64/ 下只有 libcusolver.so.9.0 這個文件,解決方法可以參考Github上Tensorflow的issue#12474和這篇總結:深度學習服務器環境配置使用源碼安裝Tensorflow。
安裝Keras
參考官網可以使用pip或從Github上下載源碼進行安裝
sudo pip install keras