LRN 與 BN 的區別：
====
LRN
首先，我們知道 LRN 首先是在 AlexNet 中首先，被定義，它的目的在于卷積（即 Relu 激活函數出來之后的）值進行局部的歸一化。這樣說，可能不形象，現在用簡單的數學以及圖來進行說明：
這里我們用 機器視覺（即傳入圖片來訓練CNN 網絡進行簡要的說明）：
首先，我們傳入一張RGB的圖片，那么他的大小是 w * h * c 的大小【在代碼中，它的輸入模式還會加上 batch 變成 batch * w * h * c】,之后我們用 N 個卷積核【卷積核大小假設為 3 * 3 * c】對其進行操作，那么我們將會得到一個 batch * w * h * N 的一個輸出【這里假設不進行卷積的下采樣】。
之后，我們將我們的輸出 batch * w * h * N 傳給激活函數 Relu，之后進行 LRN 的操作。其實 LRN 的操作非常的簡單，它是將 通道上該點的像素值走一個歸一化處理。如下圖所示：
它表示，對于該點，在全通道 N 中做一個歸一化的處理，我們設 u,v 為該點的坐標位置，C 表示通道數目（即前面的N）， c表示屬于第幾個通道位置（0 ~ C-1，數組形式），α，β，n是超參（一般來說 n 表示選取多少個通道層做一個歸一化處理），K個人理解是為了防止分母為0的錯誤。
局部歸一化的公式就可以寫為：
舉例（假設我們通過Relu層出來后的參數為如此）：
然后現在，我們求 (u,v) = (0,0) , c = 1 處的局部歸一化，設k = 1 , α = 1， β = 2 ，n = 2
可得：
BN
與 LRN 不同的是，BN的操作是在 Relu 層之前。大部分的博客中都認為，在DNN某一層，隨著GD訓練的過程中參數的改編，蓋層的輸出數據的分布可能會改變；此時，對于下一層，相當于輸入數據的分布改變了，這種輸入數據分布的改編，會使DNN難以學習到好的參數，從而影響DNN的效果。
BN 的訓練步驟如下：
先對這個輸入的Batch，進行一個 Z-Score 的比哦啊準話，其后設置 γ，β的參數，對已經標準化的值進行一個轉換。
對于圖像來說，假設傳入m張圖片。那么我們的矩陣大小就為 m * w * h * c ，假設我們有 N 個卷積核。（在不考慮下采樣的過程中），我們理論上將會得到一個 m * w * h * N 的一個輸出。我們將每一張圖片在一個 x * x * c 的卷積核中就可以得到一個輸出（feature map）。所以，我們可以將一個卷積后的 w * h看做是一個feature map，然后我們有m張圖片，那么我們對于卷積核Ni { i | 0 <= i <= N-1 },每一個 Ni【即一個feature map】做一個歸一化的操作，所以每一個卷積核對應的BN參數有 m * w * h 個，然后和 γ，β 一起保存。
P.S: LRN其實總的來說，是對于在通道數上(feature map上的某一個點位置）的一次局部歸一化。而BN則是對于每一次輸出的一個面（feature map）來進行歸一化操作。
LCN
LCN （Local Contrast Normalization）局部對比度歸一化層【簡單來說，一般是對于每一個像素及其相鄰的一個領域（local）進行一個歸一化的操作】
local contract normalization這個歸一化包括兩個部分：局部做減和局部做除。對輸入圖像的每一個像素，我們計算其鄰域（例如3x3窗口）的均值，然后每個像素先減去這個均值，再除以這個鄰域窗口（例如3x3窗口）拉成的9維向量的歐幾里德范數（如果這個范數大于1的時候才除：這個約束是為了保證歸一化只作用于減少響應（除以大于1的數值變小），而不會加強響應（除以小于1的數值變大））。也有論文在計算均值和范數的時候，都加入了距離的影響，也就是距離離該窗口中心越遠，影響越小，例如加個高斯權重窗口（空間上相鄰的像素點的相關性隨著距離變大而變?。?。
參考資料：
- https://www.zhihu.com/question/19645541/answer/91694636
- http://shartoo.github.io/network-imageclassify/
- http://99aliyun.com/lrn%EF%BC%88local-response-normalization-%E5%B1%80%E9%83%A8%E5%93%8D%E5%BA%94%E6%A0%87%E5%87%86%E5%8C%96%EF%BC%89/
- https://zhuanlan.zhihu.com/p/26682707
- https://blog.csdn.net/Fate_fjh/article/details/53375881
- https://blog.csdn.net/baishuo8/article/details/81943844
