今年年初的時候，Szegedy寫了GoogLeNet的第三篇續作，如下：
- [v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning，top5 error 3.08%
Szegedy讀了此論文后，蹦出了結合GoogLeNet與Residual Connections的奇思妙想，于是就有了上面那篇論文，主要貢獻如下：
- 1、在Inception v3的基礎上發明了Inception v4，v4比v3更加復雜，復雜到不可思議
- 2、結合ResNet與GoogLeNet，發明了Inception-ResNet-v1、Inception-ResNet-v2，其中Inception-ResNet-v2效果非常好，但相比ResNet，Inception-ResNet-v2的復雜度非常驚人，跟Inception v4差不多
- 3、加入了Residual Connections以后，網絡的訓練速度加快了
- 4、在網絡復雜度相近的情況下，Inception-ResNet-v2略優于Inception-v4
- 5、Residual Connections貌似只能加速網絡收斂，真正提高網絡精度的是“更大的網絡規模”
以上就是Inception v4論文的主要貢獻了，沒有什么創新，只是在前人的基礎上修修補補、移花接木，但這篇文章工作量不小，需要花費大量時間訓練作者提出的3種網絡。
附上作者提出網絡結構圖，具體細節就不介紹了，因為沒有任何原創性創新。以下是Inception v4的結構圖：
Inception v4
以下是Inception-ResNet的結構圖：
Inception-ResNet
總結
至此，GoogLeNet四篇相關論文就介紹完了，縱觀GoogLeNet的發展歷程，Szegedy為我們提供了許多可以借鑒的網絡設計方法，比如Inception結構、非對稱卷積、Batch Normalization、取消全連層……等等。就連Szegedy本人，也汲取了ResNet的精髓，合體兩種網絡設計出了Inception-ResNet。所以多讀論文，多學習別人的idea，是非常重要的。
值得注意的是，Szegedy在Inception-v4論文中提出了這樣一句話：
Although the residual version converges faster, the final accuracy seems to mainly depend on the model size.
或許是Szegedy玩兒了這么久GoogLeNet，終于參透了深度學習的精髓，即要想網絡更牛逼，就得設計更復雜的網絡，而網絡能否做到更復雜的關鍵在于人類計算能力強弱。計算能力的提升是一個漫長的過程，任重道遠。
想想生物進化幾十億年的歷史，人工智能還差得遠呢！
