Feed Forward and Backward Run in Deep Convolution Neural Network
徒手實(shí)現(xiàn)CNN：綜述論文詳解卷積網(wǎng)絡(luò)的數(shù)學(xué)本質(zhì) | 機(jī)器之心
卷積網(wǎng)絡(luò)中的通道(Channel)和特征圖 - 簡(jiǎn)書
一、卷積網(wǎng)絡(luò)的名詞解釋
卷積核kernel：一個(gè)3x3的卷積核大概就長(zhǎng)這樣
總共又 3x3個(gè)權(quán)重w和一個(gè)偏置b。
卷積的時(shí)候要拿著這個(gè)卷積核對(duì)這一層的輸入做卷積（卷積大家都知道吧，就是逐個(gè)相乘再求和）
過(guò)程是這樣的：先不考慮卷積核的移動(dòng)，卷積的時(shí)候?qū)⑤斎刖仃囍袑?duì)應(yīng)元素和卷積核中對(duì)應(yīng)的權(quán)重相乘，求和，再加上b
然后移動(dòng)卷積核重復(fù)卷積，得到的結(jié)果也放到輸出矩陣中下一個(gè)位置。
就像這樣移動(dòng)：
步長(zhǎng)stride:就是卷積核在輸入矩陣上每次移動(dòng)的距離，以上圖為例，步長(zhǎng)就為2。
填充padding:填充就是像上面動(dòng)圖一樣，在輸入矩陣四周填充0，使得卷積核移動(dòng)的時(shí)候既不會(huì)漏掉邊也不會(huì)超出（padding后的）輸入矩陣。
特征圖feature map：卷積后得到的一個(gè)矩陣就是特征圖，不同的卷積核在同一個(gè)輸入矩陣上卷積就會(huì)得到多個(gè)特征圖，特征圖和卷積核相對(duì)應(yīng)。
通道channel:對(duì)于輸入圖像來(lái)說(shuō)，通道一般為3，就是RGB三通道。對(duì)于中間的卷積層來(lái)說(shuō)，通道就是特征圖，多個(gè)卷積核會(huì)得到多個(gè)通道。
深度可分離卷積
深度可分離卷積由 Depthwize 卷積和 Pointwise卷積組成。
[Depthwise卷積與Pointwise卷積](https://blog.csdn.net/tintinetmilou/article/details/81607721)
卷積方式匯總
[CNN中千奇百怪的卷積方式大匯總](https://zhuanlan.zhihu.com/p/29367273)
[通道洗牌、變形卷積核、可分離卷積？盤點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)中十大令人拍案叫絕的操作。](http://www.lxweimin.com/p/71804c97123d)
