本文主體來自[Caffe學習系列(17)：模型各層數據和參數可視化]，加了一點自己的注釋(http://www.cnblogs.com/denny402/p/5105911.html)
先用caffe對cifar10進行訓練，將訓練的結果模型進行保存，得到一個caffemodel，然后從測試圖片中選出一張進行測試，并進行可視化。
# 加載必要的庫
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline # 在notebook里面顯示圖像
import sys, os, caffe
# 設置當前目錄，判斷模型是否訓練好
caffe_root = '/home/huitr/caffe/'
os.chdir(caffe_root)
if not os.path.isfile(caffe_root + 'examples/cifar10/cifar10_quick_iter_4000.caffemodel'):
print("caffemodel is not exist...")
# 利用提前訓練好的模型，設置測試網絡
caffe.set_mode_gpu()
net = caffe.Net(caffe_root + 'examples/cifar10/cifar10_quick.prototxt',
caffe_root + 'examples/cifar10/cifar10_quick_iter_4000.caffemodel',
caffe.TEST)
print net.blobs['data'].data.shape
print type(net.blobs['data']) # 鍵data所對應的值就是Blob，不是BlobVector，注意和params區分
print type(net.blobs['data'].data) # Blob.data得到的是numpy.ndarray
(1, 3, 32, 32)
<class 'caffe._caffe.Blob'>
<type 'numpy.ndarray'>
#加載測試圖片，并顯示
img = caffe.io.load_image('examples/images/cat.jpg')
print img.shape
plt.imshow(img)
plt.axis('off')
(360, 480, 3)
(-0.5, 479.5, 359.5, -0.5)
output_4_2.png
# 編寫一個函數，將二進制的均值轉換為python的均值
def convert_mean(binMean,npyMean):
blob = caffe.proto.caffe_pb2.BlobProto() # 聲明一個blob
bin_mean = open(binMean, 'rb' ).read() # 打開二進制均值文件
blob.ParseFromString(bin_mean) # 將二進制均值文件讀入blob
arr = np.array( caffe.io.blobproto_to_array(blob) ) # 將blob轉成numpy array
npy_mean = arr[0]
print arr.shape # arr是4維array，第一維表示第一張圖，其實就是唯一一張均值圖
np.save(npyMean, npy_mean )
binMean = caffe_root + 'examples/cifar10/mean.binaryproto'
npyMean = caffe_root + 'examples/cifar10/mean.npy'
convert_mean(binMean,npyMean)
(1, 3, 32, 32)
# 定義轉換,即預處理函數
# caffe中用的圖像是BGR空間，但是matplotlib用的是RGB空間；
# 再比如caffe的數值空間是[0,255]但是matplotlib的空間是[0,1]。這些都需要轉換過來
# 預處理函數應該自動resize了測試圖片的大小
mu = np.load(npyMean) # 載入均值文件
mu = mu.mean(1).mean(1) # 計算像素的平均值
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape}) # 定義轉換輸入的data數值的函數
transformer.set_transpose('data', (2,0,1)) # 把通道那一維放到最前面以適應caffe，即HxWxC變為CxHxW
transformer.set_mean('data', mu) # 減去均值
transformer.set_raw_scale('data', 255) # 將0-1空間變成0-255空間
transformer.set_channel_swap('data', (2,1,0)) # 將RGB空間轉換為BGR空間
net.blobs['data'].data[...] = transformer.preprocess('data',img)
inputData=net.blobs['data'].data
#顯示減去均值前后的數據
plt.figure()
plt.subplot(1,2,1),plt.title("origin")
plt.imshow(img)
plt.axis('off')
plt.subplot(1,2,2),plt.title("subtract mean")
plt.imshow(transformer.deprocess('data', inputData[0]))
plt.axis('off')
(-0.5, 31.5, 31.5, -0.5)
output_7_1.png
# 運行測試模型，并顯示各層數據信息
net.forward()
[(k, v.data.shape) for k, v in net.blobs.items()]
[('data', (1, 3, 32, 32)),
('conv1', (1, 32, 32, 32)),
('pool1', (1, 32, 16, 16)),
('conv2', (1, 32, 16, 16)),
('pool2', (1, 32, 8, 8)),
('conv3', (1, 64, 8, 8)),
('pool3', (1, 64, 4, 4)),
('ip1', (1, 64)),
('ip2', (1, 10)),
('prob', (1, 10))]
# 顯示各層的參數信息，只顯示weight
[(k, v[0].data.shape) for k, v in net.params.items()]
[('conv1', (32, 3, 5, 5)),
('conv2', (32, 32, 5, 5)),
('conv3', (64, 32, 5, 5)),
('ip1', (64, 1024)),
('ip2', (10, 64))]
# 編寫一個函數，用于顯示各層數據
def show_data(data, padsize=1, padval=0):
data -= data.min()
data /= data.max()
# force the number of filters to be square
n = int(np.ceil(np.sqrt(data.shape[0])))
padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))
# tile the filters into an image
data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])
plt.figure()
plt.imshow(data,cmap='gray')
plt.axis('off')
plt.rcParams['figure.figsize'] = (8, 8) # 顯示圖像的最大范圍
plt.rcParams['image.interpolation'] = 'nearest' # 插值方式
plt.rcParams['image.cmap'] = 'gray' # 灰度空間
# 顯示第一個卷積層的輸出數據和權值（filter）
show_data(net.blobs['conv1'].data[0]) # net.blobs['conv1'].data其實就是經過conv1卷積后的feature maps
print net.blobs['conv1'].data.shape
show_data(net.params['conv1'][0].data.reshape(32*3,5,5))
print net.params['conv1'][0].data.shape
(1, 32, 32, 32)
(32, 3, 5, 5)
output_11_1.png
output_11_2.png
# 顯示第一次pooling后的輸出數據
show_data(net.blobs['pool1'].data[0])
net.blobs['pool1'].data.shape
(1, 32, 16, 16)
output_12_1.png
# 顯示第二次卷積后的輸出數據以及相應的權值（filter）
show_data(net.blobs['conv2'].data[0],padval=0.5)
print net.blobs['conv2'].data.shape
show_data(net.params['conv2'][0].data.reshape(32**2,5,5))
print net.params['conv2'][0].data.shape
(1, 32, 16, 16)
(32, 32, 5, 5)
output_13_1.png
output_13_2.png
# 顯示第三次卷積后的輸出數據以及相應的權值（filter）,取前１024個進行顯示
show_data(net.blobs['conv3'].data[0],padval=0.5)
print net.blobs['conv3'].data.shape
show_data(net.params['conv3'][0].data.reshape(64*32,5,5)[:1024])
print net.params['conv3'][0].data.shape
(1, 64, 8, 8)
(64, 32, 5, 5)
output_14_1.png
output_14_2.png
# 顯示第三次池化后的輸出數據
show_data(net.blobs['pool3'].data[0],padval=0.2)
print net.blobs['pool3'].data.shape
(1, 64, 4, 4)
output_15_1.png
# 最后一層輸出的是測試圖片屬于某個類的概率
feat = net.blobs['prob'].data[0]
print feat
plt.plot(feat.flat)
[ 5.16919652e-03 9.77844349e-04 1.36706114e-01 5.60458541e-01
1.42503247e-01 6.61528260e-02 3.86934169e-03 3.14827710e-02
1.05555431e-04 5.25745414e-02]
[<matplotlib.lines.Line2D at 0x7fb87074acd0>]
output_16_2.png
