各種激活函數的問題

Sigmoid 函數：

容易飽和，，

沒有0中心化








注意ReLU 缺點，，，








Leaky ReLU,,,Maxout,,

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 日常 coding 中，我們會很自然的使用一些激活函數，比如：sigmoid、ReLU等等。不過好像忘了問自己一(...
    MiracleJQ閱讀 996評論 0贊 0
  • 激活函數的作用 摘自：https://www.zhihu.com/question/22334626 激活函數(A...
    郭少悲閱讀 3,934評論 0贊 1
  • 關鍵詞： 激活函數；深度學習；Sigmoid；ReLU；Tanh；Swish中文翻譯網址英文原文網址 本文從激活函...
    generalz閱讀 2,283評論 0贊 6
  • 激活函數的作用 激活函數的作用是能夠給神經網絡加入一些非線性因素，使得神經網絡可以更好地解決較為復雜的問題。我們知...
    WZFish0408閱讀 2,086評論 0贊 0
  • 我們總有很多喜歡的往事，美食。對于一個吃貨來說，說到好吃的就同見到喜歡的異性，表現出來的是興奮，流口水，最讓...
    Rose紫墨紅顏閱讀 401評論 5贊 0