卷積神經網絡
- 如果采用全連接前饋網絡來處理圖像時，會存在以下問題，
- 第一 參數太多，在圖像處理時，每個像素點都是一個參數，因此，若采用全連接前饋網絡，僅僅第一個隱藏層，每個神經元到輸出層都有1001003 個互相獨立連接，每個連接都對應一個權重參數，這會導致模型訓練效率非常低，也很容易出現過擬合（不必要參數太多）
- 第二 局部不變特征，自然圖像中的物體都有局部不變性特征，比如在尺度縮放，平移，旋轉等操作不影響其語義信息，而全連接前饋神經網絡，很難提取這些局部不變特征，比如縮放手，的50503的圖像，很難識別出和1001003的 描述的是同一個物體
目前卷積神經網絡
一般由卷積層，匯聚層，和全連接層交叉堆疊而成，使用反向傳播算法進行訓練（反向傳播，再重新看一下）
卷積神經網絡有三個結構上的特性：局部連接，權重共享以及子采樣
濾波器filter 卷積核convolution kernel
局部連接，其實就是根據時間，權重遞減 最后為0 參數就傳播不到遠處了
- 二維卷積中，濾波器也分為好幾種
- 均值濾波
- 高斯濾波
還有一些，可以提取邊緣特征的濾波器 等等
局部連接 乘以 濾波器 得特征映射
image.png
互相關，是一個衡量兩個序列相關性的函數，
互相關和卷積的區別在于 卷積核僅僅是否進行翻轉，因此互相關也可以稱為 不翻轉卷積
使用卷積 是為了進行特征抽取，卷積核 是否進行翻轉和其特征抽取的能力無關。
當卷積核是可以學習的參數，卷積和互相關是等價的，因此，其實兩者差不多。
image.png
匯聚層
-
匯聚層也叫做子采樣層，其作用是進行特征選擇，降低特征數量，并從而減少，參數數量
匯聚層雖然可以顯著提高網絡中連接的數量，但特征映射組中但神經元的個數并沒有顯著減少，如果后面接一個分類器，分類器的輸入維數依然很高，很容易出現過擬合，為了解決這個問題，可以在卷積層之后加一個匯聚層，從而降低特征維數，避免過擬合
image.png -
常用的匯聚函數，有 最大匯聚 和 平均匯聚 兩者
image.png 卷積神經網絡中，主要有兩種不同功能的神經層：卷積層和匯聚層
而參數多為卷積核（濾波器）和偏置，而我們進行算法優化，無非就是修改超參數，因此只需要計算卷積層中參數的梯度。
Tips：P是代表特征映射
