神經網絡已經被證明它能夠擬合任意的函數，所以它的用途十分廣泛。任意的輸入X，只要它與Y輸出有一個對應關系F，即Y=F(X)時，F即是我們要擬合的目標函數。特別是這種對應關系十分復雜時，神經網絡就顯示出它的強大來。比如語音信號，經過采樣之后只是一維的數據，很難直接找到這種從聲音到文字的對應關系。如果這種對應關系根本不存在的話，神經網絡也沒有辦法找出一種對應關系。比如輸入一張人臉，預測它犯罪的可能性，如果是嬰兒，它的準確性一定很低，因為嬰兒臉部沒有特征可以與犯罪有對應關系。但是成人就不一定，比如長期吸食毒品的人，臉部會出現一些明顯變化，膚色或者皮膚紋理或者口歪眼斜等等特征，這就暗示出臉部與犯罪存在一定的聯系，這種聯系可以用Y=F(X)來表示，這個F就是我們要擬合的目標函數。另外我們的輸出Y一定是可分的，如果一個數據集的噪聲很大，對于訓練神經網絡是非常不利的。
CNN的原理隨著卷積核(filter)可視化可以稍微窺探一些端倪，一個filter實際上是為了探測一個feature，filter提取的特征是其前一層特征的組合排列，依次向前類推。所以在filter size和步長的選擇上會有一定的規律可以遵循。
1.如果選擇一個filter的size過大，則非常不利于feature的提取，因為過大的filter會導致輸入層的信息損失嚴重，嚴重到網絡沒有辦法基于這些過少的特征進行分類。極端情況是filter的size和輸入的size一樣大，這樣整個輸入樣本經過卷積之后變成只有一維的數據，記作X'，這個損失極其嚴重的X'和Y之間已經不存在對應關系F，目標函數已經不存在了，所以這個神經網絡根本沒有辦法工作。
我做了一個實驗，基于minist數據集，代碼如下：
modelCNN = Sequential()
modelCNN.add(Convolution2D(1, 28, 28, input_shape=(28,28,1)))#這里使用1個filter，每個大小為28x28。輸入圖片大小28x28 尺寸相同
modelCNN.add(Flatten())
modelCNN.add(Dense(output_dim=500))
modelCNN.add(Activation("sigmoid"))
modelCNN.add(Dense(output_dim=500))
modelCNN.add(Activation("sigmoid"))
modelCNN.add(Dense(output_dim=10))
modelCNN.add(Activation("sigmoid"))
modelCNN.compile(loss='categorical_crossentropy',
optimizer='adam',
metrics=['accuracy'])
# input image dimensions
img_rows, img_cols = 28, 28
batch_size = 200
num_classes = 10
# the data, shuffled and split between train and test sets
(x_train, y_train), (x_test, y_test) = mnist.load_data()
if K.image_data_format() == 'channels_first':
x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols)
x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols)
input_shape = (1, img_rows, img_cols)
else:
x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1)
x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1)
input_shape = (img_rows, img_cols, 1)
x_train = x_train.astype('float32')
x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255
print('x_train shape:', x_train.shape)
print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')
# convert class vectors to binary class matrices
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)
tb_cb = keras.callbacks.TensorBoard(log_dir='./logs', histogram_freq=1, write_graph=True, write_images=False,
embeddings_freq=0, embeddings_layer_names=None, embeddings_metadata=None)
#es_cb = keras.callbacks.EarlyStopping(monitor='val_loss', min_delta=0.09, patience=5, verbose=0, mode='auto')
cbks = [];
cbks.append(tb_cb);
#cbks.append(es_cb);
modelCNN.fit(x_train, y_train,
batch_size=batch_size,
callbacks=cbks,
epochs=100,
verbose=1,
validation_data=(x_test, y_test))
score = modelCNN.evaluate(x_test, y_test, verbose=0)
這個卷積神經網絡是在一個只訓練2輪，準確率在94%以上的全連接網絡前端加上一個filter進行卷積。只加了一個size為輸入樣本同樣尺寸的filter。結果這個神經網絡完全失效。我訓練了100輪，結果基本沒有效果。參見圖1
這個神經網絡在訓練100輪中精度基本沒有提升，是一條直線，loss只是稍微有一點下降。讀者可以檢查一下是不是哪里出錯了，如果有請幫助指正。
2.如果步長過長會有同樣的問題，提取的特征過少，輸入X在經過卷積后變成X'，在此過程中可以基于分類的有效信息量衰減過大，導致X'不會和輸入Y存在目標函數F的對應關系。
3.pooling的過程也會存在同樣的問題，會造成有效信息的衰減。如果pooling選擇尺寸過大，也會使神經網絡的效果下降。李宏毅老師也提到alpha go的算法中，沒有使用pooling其實也是這個原因，加入pooling會導致數據損失，而在圍棋中就算是用2x2的size進行pooling都會造成嚴重的數據損失，因為圍棋叫吃的時候是可以在3x3的范圍內完成的。如果再pooling一下的話，alpha go 估計連基本的叫吃都看不明白了。
在上面的filter實驗中，由于filter 的size選擇有點極端，不知道keras或者tensorflow會不會產生異常情況，導致準確率不能有效提升。如果錯了。。。請不要打臉[\尷尬]
