午夜福利理论片在线观看播放,国产精品久久久久乳精品爆,精品无码综合一区二区三区

1.定義

參數(shù)數(shù)量（params）：關(guān)系到模型大小，單位通常為M，通常參數(shù)用 float32 表示，所以模型大小是參數(shù)數(shù)量的 4 倍
理論計(jì)算量（FLOPs）：是 floating point operations 的縮寫（注意 s 小寫），可以用來衡量算法/模型的復(fù)雜度，這關(guān)系到算法速度，大模型的單位通常為 G，小模型單位通常為 M
通常只考慮乘加操作(Multi-Adds)的數(shù)量，而且只考慮 CONV 和 FC 等參數(shù)層的計(jì)算量，忽略 BN 和PReLU 等等。一般情況，CONV 和 FC 層也會(huì) 忽略僅純加操作的計(jì)算量，如 bias 偏置加和 shotcut 殘差加等，目前技術(shù)有 BN 的 CNN 可以不加 bias

Conv2d 標(biāo)準(zhǔn)卷積層

input： $N \times H \times W$
output: $M \times H \times W$
filters: $K \times K$
params： $N \times K^2 \times M$
FLOPs： $W \times H \times N \times K^2 \times M$
若算上加法：
$((K\times K+1)*N+(N-1))*W*H*M$
其中(這需要對(duì)卷積過程有較深的理解)，標(biāo)準(zhǔn)的卷積將輸入的N個(gè)channel分成1組，復(fù)用M次
$(K\times K+1)$ 表示在一個(gè)卷積核計(jì)算時(shí)在疊加bias,
乘以 $N$ 表示在輸入的channel方向進(jìn)行乘積，即一組乘積
$N-1$ 表示一組卷積之后對(duì)N個(gè)結(jié)果進(jìn)行N-1次加法來疊加結(jié)果
$((K\times K+1)*N+ (N-1))$ 表示最終匯聚成特征圖上的一個(gè)點(diǎn)
乘以 $W*H*M$ 表示在最終的輸出特征圖,所有點(diǎn)的的個(gè)數(shù)

FC 全連接層

input： $N$
output: $M$
params： $N \times M$
FLOPs： $N \times M$

Depthwise conv2d

input： $N \times H \times W$
output: $N \times H \times W$
filters: $K \times K$
params： $N \times K^2$
FLOPs： $W \times H \times N \times K^2$

輸出Feature map的大小

$n_{out}=\lfloor {\frac{n_{in}+2p-k}{s}} \rfloor + 1$
$n_{in}$ : size of input feature maps
$n_{out}$ : size of output feature maps
$n_{p}$ : padding size
$n_{k}$ : kernel size
$n_{s}$ : stride size