深度學習常見激勵函數總結

1. 參考文獻：https://blog.csdn.net/xierhacker/article/details/71524713

2. sigmoid

優點：簡單,良好的非線性映射,但是也有致命的問題,就是梯度消失.所以現代的神經網絡架構很少用他了。

tf.nn.softmax(logits, dim=-1, name=None)

作用：計算softmax 激活值 
參數: 
logits: 非空的tensor，類型必須為half, float32, float64. 
dim: softmax作用的維度，默認是-1，表示最后一個維度 
name: 【可選】這個操作的名字 
返回值: 
返回一個tensor，和logits有相同的類型和形狀

3. tanh

20170510143539313.png

4. ReLU

   修正線性單元：

20170510143729520.png

線性修正單元應當是現在用的最廣的激活函數了。

修正線性單元(Rectified linear unit) 。

tf.nn.relu(features, name=None)
作用： 
計算修正線性單元(非常常用)：max(features, 0).并且返回和feature一樣的形狀的tensor。

參數： 
features: tensor類型，必須是這些類型：A Tensor. float32, float64, int32, int64, uint8, int16, int8, uint16, half. 
name: ：操作名稱（可選）

5. LReLU，PReLU，RReLU

   這三個都是對于ReLU的改進,三個的函數的寫法可以近似的認為是一樣的.細節上有一些差別

6. ELU

   Exponential Linear Units的縮寫,函數形式為 ：

20170510144010898.png

7. softplus

20170510151302459.png

8. over