作用：1. 實(shí)現(xiàn)跨通道的交互和信息整合；2. 進(jìn)行卷積核通道數(shù)的降維和升維
詳細(xì)介紹：
（作用1）
圖5 多通道+多卷積核做卷積示示意圖。
縮進(jìn)如圖5，輸入圖像layer m-1有4個(gè)通道，同時(shí)有2個(gè)卷積核w1和w2。對(duì)于卷積核w1，先在輸入圖像4個(gè)通道分別作卷積，再將4個(gè)通道結(jié)果加起來(lái)得到w1的卷積輸出；卷積核w2類似。所以對(duì)于某個(gè)卷積層，無(wú)論輸入圖像有多少個(gè)通道，輸出圖像通道數(shù)總是等于卷積核數(shù)量！
縮進(jìn)對(duì)多通道圖像做1x1卷積，其實(shí)就是將輸入圖像于每個(gè)通道乘以卷積系數(shù)后加在一起，即相當(dāng)于把原圖像中本來(lái)各個(gè)獨(dú)立的通道“聯(lián)通”在了一起。來(lái)源：blog
（作用2）
1、1x1的卷積核（可能）引起人們的重視是在NIN的結(jié)構(gòu)中，利用MLP代替?zhèn)鹘y(tǒng)的線性卷積核，從而提高網(wǎng)絡(luò)的表達(dá)能力。文中同時(shí)利用跨通道的pooling的角度解釋，認(rèn)為論文中剔除的MLP其實(shí)等價(jià)于在傳統(tǒng)卷積核后面接cccp層，從而實(shí)現(xiàn)多個(gè)feature map的線性組合，實(shí)現(xiàn)跨通道的信息整合。而cccp層是等價(jià)于1x1卷積的，因此細(xì)看NIN的caffe實(shí)現(xiàn)，就是在每個(gè)傳統(tǒng)卷積后面接了兩個(gè)cccp層（其實(shí)就是解了兩個(gè)1x1卷積層）。
2、進(jìn)行降維和升維引起人們重視的（可能）是在GoogleNet里。對(duì)于每一個(gè)inception模塊（如下圖），原始模塊是左圖，右圖中是加入了1x1卷積核進(jìn)行降維的。
雖然左圖中的卷積核都比較小，但是當(dāng)輸入和輸出的通道數(shù)很大時(shí)，乘起來(lái)也會(huì)使得卷積核參數(shù)變很大，而右圖加入1x1卷積后可以降低輸入的通道數(shù)，卷積核參數(shù)、運(yùn)算復(fù)雜度也就降下來(lái)了。以GoogleNet里的3a模塊為例，輸入的feature map是28x28x192，3a模塊中的1x1卷積通道為64, 3x3卷積通道為128, 5x5卷積通道為32，如圖左圖結(jié)構(gòu)，那么卷積核參數(shù)為：1x1x192x64+3x3x192x128 +5x5x192x32.
而右圖對(duì)3x3和5x5卷積層前分別加入了通道數(shù)為96和16的1x1卷積層，參數(shù)就成了：1x1x192x64+(1x1x192x96+3x3x96x128）+（1x1x192x16+5x5x16x32）。整個(gè)參數(shù)大約減少了三分之一。
同時(shí)，在并行pooling層后面加入1x1卷積核后可以降低輸出的feature map數(shù)量，左圖pooling后feature map是不變的，再加卷積層就得到feature map，會(huì)使輸出的feature map擴(kuò)大到416，如果每個(gè)模塊都這樣，網(wǎng)絡(luò)的輸出會(huì)越來(lái)越大。而右圖在pooling后面加入了通道為32的1x1卷積，使得輸出的feature map數(shù)降到了256.
GoogleNet利用1x1的卷積降維后，得到了更為緊湊的網(wǎng)絡(luò)結(jié)構(gòu)，雖然總共22層，但是參數(shù)數(shù)量卻只有8層的AlexNet的十二分之一（當(dāng)然很大一部分原因可能是去掉了全連接層）。
近來(lái)十分熱門的MSRA同樣也利用了1x1卷積，并且是在3x3卷積層的前后都使用了，不僅進(jìn)行了降維，還進(jìn)行了升維，使得卷積層的輸入和輸出的通道數(shù)都見笑，參數(shù)數(shù)量進(jìn)一步減小，如下圖所示。
具體參見：caffe cn
