HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs
Introduction
本片文章主要提出新的卷積，從DWC，PWC，GWC在到本文的HetConv。本文卷積的優(yōu)點是與標準的卷積比，HetConv卷積減少參數(shù)量，計算量也同時減少。并且將該結(jié)構(gòu)放入到VGG和ResNet中進行測試，得出最后的實驗結(jié)果。
Model
標準卷積的計算量為：FL s = D0 × D0 × M × N × K × K ;
HetConv的計算量為： FLk= (Do × Do × M × N × K × K)/P
該圖主要說明從深度卷積，逐點卷積再到分組卷積，直到本文提出的HetConv卷積。HetConv結(jié)構(gòu)的filter是0延時，而GWC+PWC或者是DWC+PWC是每個單元都有一個延
實驗部分
數(shù)據(jù)集使用cifar10，和ImageNet測試，把新提出的結(jié)構(gòu)進行對比。
?Cifar10數(shù)據(jù)集實驗
?從實驗中可以得出，P4的結(jié)果是最好的，也就是1個3*3卷積和3個1*1卷積。且參數(shù)量相對比較少
P32指的是輸入的通道數(shù)為32，P64指的是輸入的通道數(shù)為63.從圖可得，P32的效果最好
SE指的是Squeeze-and-Excitation
MobileNet結(jié)果是P32+SE的準確性是最好的，要比只有MobileNet的結(jié)構(gòu)要好很多。
ImageNet數(shù)據(jù)集測試
VGG-16-P4的結(jié)果不如P1的結(jié)果好。
ResNet-50 P4的效果要稍微比P1的效果好，而且FLops也要比P1降了很多。
ResNet-34與ResNet-50相比，ResNet-50的結(jié)果要比ResNet要好，
結(jié)論：對本文的提出新的結(jié)構(gòu)，在后期的實驗過程中，可以嘗試使用該卷積的形式。
如有不足，請指正。謝謝
