Backend 切換

編輯 .keras/keras.json 即可。可選后端有 theano 和 tensorflow.

theano 版本配置如下：

$ vim ~/.keras/keras.json
{
    "image_dim_ordering": "th", 
    "epsilon": 1e-07, 
    "floatx": "float32", 
    "backend": "theano"
}

tensorflow 版本配置如下：

$ vim ~/.keras/keras.json
{
    "image_dim_ordering": "tf", 
    "epsilon": 1e-07, 
    "floatx": "float32", 
    "backend": "tensorflow"
}

NVIDIA Cuda 8 安裝

cuda 歷史版本安裝
https://developer.nvidia.com/cuda-toolkit-archive
cudnn 歷史版本
https://developer.nvidia.com/rdp/cudnn-archive

當前是由于windows下的TensorFlow只支持 cuda8, 而當前官網直接下載到的是cuda9, 沒辦法只能找老版本的安裝

最終效果如下所示：

Using TensorFlow backend.
2017-12-30 09:25:09.107257: I C:\tf_jenkins\home\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\platform\cpu_feature_guard.cc:137] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2
2017-12-30 09:25:09.763864: I C:\tf_jenkins\home\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1030] Found device 0 with properties:
name: GeForce GTX 960M major: 5 minor: 0 memoryClockRate(GHz): 1.176
pciBusID: 0000:01:00.0
totalMemory: 2.00GiB freeMemory: 1.65GiB
2017-12-30 09:25:09.763992: I C:\tf_jenkins\home\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1120] Creating TensorFlow device (/device:GPU:0) -> (device: 0, name: GeForce GTX 960M, pci bus id: 0000:01:00.0, compute capability: 5.0)

當前使用的筆記本是獨立顯卡， GeForce GTX 960M 顯卡，安裝 anaconda， keras， TensorFlow-gpu， 按照上述配置為 tensorflow 為 keras后端，并通過 cuda8 做 tensorflow 的執行引擎，從而進入最大化燒顯卡時代咯;-)...

TensorBoard 使用

在調試過程中需要查看訓練狀態，直接從日志能看出一些內容，但我們需要更多信息來判定是否是過擬合，還是網絡能力不夠等，這時可以通過 tensorboard 查看 keras 訓練過程。方法如下

from keras.callbacks import TensorBoard
from keras.models import Sequential

# model
model = Sequential()
callback = keras.callbacks.TensorBoard(log_dir='log', write_images=1, histogram_freq=1)  
# ...
model.fit(x_train, x_train,
                epochs=50,
                batch_size=128,
                shuffle=True,
                validation_data=(x_test, x_test),
                callbacks=[callback])

當然也可簡單的進行如下操作

# model
model = Sequential()
# ...
model.fit(x_train, x_train,
                epochs=50,
                batch_size=128,
                shuffle=True,
                validation_data=(x_test, x_test),
                callbacks=[TensorBoard(log_dir='log')])

這時候僅需要啟動 anaconda 命令行模式，執行如下命令即可在瀏覽器中查看訓練狀態

$ tensorboard --logdir='<path>/log'
TensorBoard 0.4.0rc3 at http://localhost:6006 (Press CTRL+C to quit)

這時候就能在瀏覽器中查看到訓練到當前epoch時loss等狀態了

多 CPU, GPU運行 keras

通過如下命令查看 CPU 數量

# 總核數 = 物理CPU個數 X 每顆物理CPU的核數 
# 總邏輯CPU數 = 物理CPU個數 X 每顆物理CPU的核數 X 超線程數

# 查看物理CPU個數
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

# 查看每個物理CPU中core的個數(即核數)
cat /proc/cpuinfo| grep "cpu cores"| uniq

# 查看邏輯CPU的個數
cat /proc/cpuinfo| grep "processor"| wc -l

# 查看core信息描述
# sudo dmidecode -t 4 | egrep -i "Designation|Intel|core|thread"

# 查看GPU信息
# lspci | grep VGA

# 查看是否安裝 NVidia顯卡
# lspci | grep -i nvidia

使用 tensorflow 運行在多 CPU 和多 GPU 上設置, 此次的配置即是對GPU及CPU數量進行允許也是一種限制:

import tensorflow as tf
from keras import backend as K
# intra_op_parallelism_threads 控制運算符op內部的并行
# inter_op_parallelism_threads 控制多個運算符op之間的并行計算
# * device_count, 告訴tf Session使用CPU數量上限，如果你的CPU數量較多，可以適當加大這個值
# * inter_op_parallelism_threads和intra_op_parallelism_threads告訴session操作的線程并行程度，如果值越小，線程的復用就越少，越可能使用較多的CPU核數。如果值為0，TF會自動選擇一個合適的值。
with tf.Session(config=tf.ConfigProto(device_count = {'GPU': 0 , 'CPU': 20},   inter_op_parallelism_threads=1, intra_op_parallelism_threads=20, log_device_placement=True)) as sess:
    K.set_session(sess)

對于 ConfigProto 可配置項可參見其 proto 文件,
在 theano中使用如下方式來實現:

import os
os.environ['MKL_NUM_THREADS'] = '16'
os.environ['GOTO_NUM_THREADS'] = '16'
os.environ['OMP_NUM_THREADS'] = '16'
os.eviron['openmp'] = 'True'

參考:
multi-core-cpu
Tensorflow并行：多核(multicore)，多線程(multi-thread)

指定GPU 運行 CUDA

指定 GPU 運行:

# CUDA_VISIBLE_DEVICES=1           Only device 1 will be seen
# CUDA_VISIBLE_DEVICES=0,1         Devices 0 and 1 will be visible
# CUDA_VISIBLE_DEVICES="0,1"       Same as above, quotation marks are optional
# CUDA_VISIBLE_DEVICES=0,2,3       Devices 0, 2, 3 will be visible; device 1 is masked
# CUDA_VISIBLE_DEVICES=""          No GPU will be visible
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

通過對環境變量的修改來控制當前session中可看到的gpu編號
tensorflow 中指定內存使用大小:

# 限定大小(按比例限定)
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.7)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))    
# 按需分配
gpu_options = tf.GPUOptions(allow_growth=True)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))   

參考:
Using GPUs
tensorflow中使用指定的GPU及GPU顯存