寫在前面
最近練習使用cnn，訓練了一個驗證碼識別的神經網絡。在這里記錄一下戰斗的心路歷程。
最開始使用cpu版的tensorflow來訓練，訓練集的圖片是由captcha庫自動生成的，大小為170x80。電腦intel i5-7500的cpu，主頻3.4G，4核，按理說處理170x80的圖片應該不會太慢。實戰起來的時候，慢到我懷疑人生。感覺隨便訓練一下一周過去了。還好有塊GTX 1060的顯卡。裝上gpu版的tensorflow，一下子感覺被拯救了，51200張圖片訓練一把只要一個小時，擱cpu估計要一整天。跑了兩個小時摸了一把機箱，大冷天居然發燙。著實心疼了一把顯卡。所以如果大家是在minist數據集上玩一下用cpu可以，如果真的上實彈建議不要浪費人生了。
實驗過程
在網上找了一份captcha的識別代碼，自己改了一下，發現根本不收斂。。。loss一直居高不下。先貼出來我的錯誤示范。
input_tensor = Input((height, width, 3))
x = input_tensor
x = Convolution2D(24, 6, 6, subsample=(2, 2), activation='relu')(x)#這里使用24個filter，每個大小為3x3。輸入圖片大小170x80 輸出83x38
x = MaxPooling2D((2,2))(x)#pooling為2x2，即每4個網格取一個最大值 pooling之前是24(filter)x83x38，pooling后是24(filter)x42x19
x = Convolution2D(138, 3, 3, activation='relu')(x)#再用24x3x3filter卷積一次，大小為138(filter)x40x17
x = MaxPooling2D((2, 2))(x) # pooling為2x2，完成后成為138(filter)x20x9
x = Convolution2D(138*2, 3, 3, activation='relu')(x)#再用138x3x3filter卷積一次，大小為276(filter)x18x7
x = Convolution2D(138*2, 3, 3, activation='relu')(x)#再用276x3x3filter卷積一次，大小為276(filter)x16x5
x = Convolution2D(138*2, 3, 3, activation='relu')(x)#再用276x3x3filter卷積一次，大小為276(filter)x14x3
x = Flatten()(x)
x = [Dense(n_class, activation='softmax', name='c%d'%(i+1))(x) for i in range(n_len)]
model = Model(input=input_tensor, output=x)
model.compile(loss='categorical_crossentropy',
optimizer='adadelta',
metrics=['accuracy'])
花了好長時間YY出來了一個自覺"完美"的結構。本來想跑一下過把癮，結果loss一直不下來持續在64左右。整個人感覺就不好了，把別人的代碼搞過來跑一下看看，剛開始訓練loss就只有16。怎么會差那么多！先貼出來別人的結構
input_tensor = Input((height, width, 3))
x = input_tensor
for i in range(4):
x = Conv2D(32*2**i, 3, 3, activation='relu')(x)
x = Conv2D(32*2**i, 3, 3, activation='relu')(x)
x = MaxPooling2D((2, 2))(x)
x = Flatten()(x)
x = Dropout(0.25)(x)
x = [Dense(n_class, activation='softmax', name='c%d'%(i+1))(x) for i in range(4)]
按這個結構一跑，收斂的飛快。兩個小時就訓練好了，而且精度高的不要不要的。后續會示范。
簡直就是奔潰。
然后我就開始把自己的網絡一步一步替換成他的網絡，替換法。這個過程真是耗時費力。不過還好發現了一些規律，具體原因只能猜測一下。
總結下來有三個方面，我發現這三個方面任意缺一個，丫的loss就不收斂。。。簡直了。。。
- activation激活函數要選擇relu，至于為什么詳細可以參見cs231n里面的課程有詳細的解釋，大致原因就是別的函數例如sigmod會導致梯度消失，反向傳播的時候梯度不能一層一層傳播。更新權重w是根據梯度的負方向乘以學習率來更新權重的，梯度過小則權重的變化率太小，所以收斂的慢
2.最多隔兩層Conv2D卷積層要加一個Pooling層。個人感覺如果pooling層個數不夠的話，網絡要訓練的w權重集合會很大，而且很多節點權重對最終輸出并沒有太多影響，訓練過程中修正權重的時候會過多的關注這些無效結點，反而干擾了梯度下降的過程。當然這是個人的猜測，歡迎大家給我分享你的觀點。但是無論怎么樣，確實我加了一些pooling 就收斂了，神奇的玩意。大家可以訓練一個不pooling 的網絡，看一下是不是多花一些時間也可以收斂的。
3.加深網絡的深度。當我有6個卷積層3個pooling的時候，根本感覺不要收斂，而且loss在64左右，多加一層的時候，簡直神跡一般loss一下子跌到16，而且收斂的非常快。至于什么原因。。。我只能盡情想象了。想象一下網絡只有一個隱層，而且結點很少會發生什么情況？網絡的表達能力根本就不夠，它根本就不可能正確的識別圖像里的特征，再進一步的把特征聚會成更高級的特征。卷積核可視化的paper里面可以看到高層的特征是低層特征的聚合。當網絡深度不夠的時候它根本不足以識別出來高級的特征，更何況識別出里面的驗證碼。所以loss會根本下不來。如果大家有更合理的解釋，歡迎分享。
下面貼出來代碼，talk is cheap, show me the code
from captcha.image import ImageCaptcha
import matplotlib.pyplot as plt
import numpy as np
import random
%matplotlib inline
%config InlineBackend.figure_format = 'retina'
import string
characters = string.digits + string.ascii_uppercase + string.ascii_lowercase
print(characters)
width, height, n_len, n_class = 170, 80, 4, len(characters)
# generator = ImageCaptcha(width=width, height=height)
# random_str = ''.join([random.choice(characters) for j in range(4)])
# img = generator.generate_image(random_str)
#
# plt.imshow(img)
# plt.title(random_str)
def gen(batch_size=32):
X = np.zeros((batch_size, height, width, 3), dtype=np.uint8)
y = [np.zeros((batch_size, n_class), dtype=np.uint8) for i in range(n_len)]
generator = ImageCaptcha(width=width, height=height)
while True:
for i in range(batch_size):
random_str = ''.join([random.choice(characters) for j in range(4)])
X[i] = generator.generate_image(random_str)
for j, ch in enumerate(random_str):
y[j][i, :] = 0
y[j][i, characters.find(ch)] = 1
yield X, y
def decode(y):
y = np.argmax(np.array(y), axis=2)[:,0]
return ''.join([characters[x] for x in y])
# X, y = next(gen(1))
# plt.imshow(X[0])
# plt.title(decode(y))
import keras
from keras.models import *
from keras.layers import *
input_tensor = Input((height, width, 3))
x = input_tensor
for i in range(4):
x = Conv2D(32*2**i, 3, 3, activation='relu')(x)
x = Conv2D(32*2**i, 3, 3, activation='relu')(x)
x = MaxPooling2D((2, 2))(x)
x = Flatten()(x)
x = Dropout(0.25)(x)
x = [Dense(n_class, activation='softmax', name='c%d'%(i+1))(x) for i in range(4)]
model = Model(input=input_tensor, output=x)
model.compile(loss='categorical_crossentropy',
optimizer='adadelta',
metrics=['accuracy'])
#這里構造一個callback的數組，當作參數傳給fit
tb_cb = keras.callbacks.TensorBoard(log_dir='d:\\logs', write_graph=True, write_images=False,
embeddings_freq=0, embeddings_layer_names=None, embeddings_metadata=None)
es_cb = keras.callbacks.EarlyStopping(monitor='val_loss', min_delta=0.09, patience=5, verbose=0, mode='auto')
cbks = [];
cbks.append(tb_cb);
cbks.append(es_cb);
model.fit_generator(gen(), samples_per_epoch=51200, nb_epoch=5,callbacks=cbks,
nb_worker=1,
validation_data=gen(), validation_steps=32)
X, y = next(gen(1))
y_pred = model.predict(X)
plt.title('real: %s\npred:%s'%(decode(y), decode(y_pred)))
plt.imshow(X[0], cmap='gray')
這里是我的訓練過程，我只跑了兩代，10萬多張圖片，兩個小時，發現分別識別四個字母的acc都達到了98%以上！！！
這個時候我摸了一把機箱，覺得就這樣吧。
訓練過程.png
下面給大家看一下準確率有多離譜。說實話，比我識別的都準確。
先貼一下驗證的代碼。
from keras.models import load_model
from captcha.image import ImageCaptcha
import matplotlib.pyplot as plt
import numpy as np
import random
%matplotlib inline
%config InlineBackend.figure_format = 'retina'
import string
characters = string.digits + string.ascii_uppercase + string.ascii_lowercase
print(characters)
width, height, n_len, n_class = 170, 80, 4, len(characters)
# generator = ImageCaptcha(width=width, height=height)
# random_str = ''.join([random.choice(characters) for j in range(4)])
# img = generator.generate_image(random_str)
#
# plt.imshow(img)
# plt.title(random_str)
def gen(batch_size=32):
X = np.zeros((batch_size, height, width, 3), dtype=np.uint8)
y = [np.zeros((batch_size, n_class), dtype=np.uint8) for i in range(n_len)]
generator = ImageCaptcha(width=width, height=height)
while True:
for i in range(batch_size):
random_str = ''.join([random.choice(characters) for j in range(4)])
X[i] = generator.generate_image(random_str)
for j, ch in enumerate(random_str):
y[j][i, :] = 0
y[j][i, characters.find(ch)] = 1
yield X, y
def decode(y):
y = np.argmax(np.array(y), axis=2)[:,0]
return ''.join([characters[x] for x in y])
model = load_model('d:\\tmp\\my_model.h5')
X, y = next(gen(1))
y_pred = model.predict(X)
plt.title('real: %s\npred:%s'%(decode(y), decode(y_pred)))
plt.imshow(X[0], cmap='gray')
我的model存起來了。重新加載的。先貼出一張識別錯誤的吧。
識別錯誤.png
把a識別成5了。。。
再貼正確的吧
正確識別.png
我實驗了幾十把，全部識別正確。
這里就不貼model了，大家需要可以找我要。下次用keras-vis 看一下這些filter的究竟。
