神經(jīng)網(wǎng)絡(luò)

1、實際變量有多少個特征,輸入層就有多少個神經(jīng)元,接下來想要得到多少個值那么隱藏層就有個神經(jīng)元,以此類推
2、神經(jīng)網(wǎng)絡(luò)是一個無監(jiān)督學習的過程么? 但是最后也算是和訓練數(shù)據(jù)中的y做對比的啊,對無監(jiān)督這個過程感到不理解
額,大概是這個過程,訓練數(shù)據(jù)區(qū)別于標簽數(shù)據(jù),模型都需要訓練數(shù)據(jù)來訓練,但是標簽數(shù)據(jù)就是做監(jiān)督分類來用的
整個神經(jīng)網(wǎng)絡(luò)學習率是一樣的嗎,還是每層的一樣
3、求導(dǎo)的數(shù)值化表示
神經(jīng)網(wǎng)絡(luò)的輸入是一個矩陣,比如課程中講到的識別數(shù)字的訓練集,輸入值是5000x400的矩陣,5000代表樣本數(shù)量,400是輸入層的特征值數(shù)量;輸出值是一個500x1的矩陣

Paste_Image.png
Paste_Image.png

4、對于有多個參數(shù)theta的情況,可以看做是多維空間中,theta1、theta2、theta3......等是每一維,J值是對應(yīng)的值,那么相應(yīng)地每一維上的梯度或者叫導(dǎo)數(shù)(能叫做導(dǎo)數(shù)吧?!)

Paste_Image.png

5、上述的數(shù)值表達式用matlab或者octave代碼表述如下:

Paste_Image.png

6、在神經(jīng)網(wǎng)絡(luò)中獲得梯度是利用方向傳播方法得到的誤差,因為根據(jù)訓練集,(xi 、yi)中,xi對應(yīng)于神經(jīng)網(wǎng)絡(luò)的初始輸入值,yi對應(yīng)于輸出值,誤差函數(shù)或代價函數(shù) J 的獲取是在最后一層即輸出層進行的。而各層中間的theta值是靠誤差方向傳播計算得到。

Paste_Image.png

7、利用數(shù)值計算梯度實驗梯度精度檢驗

Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
Paste_Image.png

why?!原因如下:

Paste_Image.png

所以要用反向傳播算法來計算D(1)、D(2)、D(3)

Paste_Image.png
Paste_Image.png
Paste_Image.png

但是以上說法是建立在已經(jīng)檢驗過反向傳播算法和數(shù)值檢驗結(jié)果相差不大的條件下。
8、當運算梯度下降法或者高級算法時需要初始化theta值

Paste_Image.png

在邏輯回歸中所有theta值初始化為0是可行的,但是在神經(jīng)網(wǎng)絡(luò)中時不可行的

Paste_Image.png

如果所有參數(shù)theta的初始值都為0,那么下圖中所有藍色的兩個權(quán)重、紅色的兩個權(quán)重、綠色的兩個權(quán)重將會一直相等。隱藏層的所有特征值也將相等,那么在計算下一層的輸出值時這些其他相等的特征值完全是多余的或者沒有意義的。
解決以上問題的方法就是將theta值隨機初始化

Paste_Image.png
Paste_Image.png

圖中紅框中的在matlab中的實現(xiàn)的代碼可以使得theta值在[-epsilon,epsilon]之間

Paste_Image.png

下圖說明初始化theta值時要打破對稱性,不管是把所有theta值初始化為0還是初始化為不為零的值都沒有做到這一點


Paste_Image.png

9、神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元個數(shù)和特征個數(shù)相等,輸出層神經(jīng)元和分幾類相等。

Paste_Image.png
Paste_Image.png

10、隱藏層數(shù)量以及隱藏層神經(jīng)元個數(shù)的確定:一般情況下只要一個隱藏層,若隱藏層數(shù)量大于1,那么盡量使得每個隱藏層中的神經(jīng)元個數(shù)相等,而且是數(shù)目越多效果越好,但是計算量會很大

11、會對每一個樣本進行前向傳播和反向傳播

Paste_Image.png
Paste_Image.png

12、所有的theta參數(shù)表達神經(jīng)網(wǎng)絡(luò)如何有效擬合訓練數(shù)據(jù)

Paste_Image.png

總結(jié)暫時的理解:
(1) 、&(3) =[s1;s2] a(2) = [e1;e2;e3;e4;e5;e6;e7;e8;e9;e10]
所以梯度等于&(3)*a(2)'


Paste_Image.png
Paste_Image.png

下圖中第二個選項是錯誤的,因為lamda的值不能不限地增加
(結(jié)果顯示答案錯誤,why)


Paste_Image.png
Paste_Image.png

二次新知:
1、


Paste_Image.png

實際是代價函數(shù)關(guān)于z(i)j的偏微分

Paste_Image.png

什么時候去掉梯度檢驗的代碼

Paste_Image.png
Paste_Image.png

神經(jīng)網(wǎng)絡(luò)是非凸函數(shù),一般如何解決局部最優(yōu)解的問題,a
總結(jié):要記住


Paste_Image.png

除了是相應(yīng)代價函數(shù)關(guān)于中間項的偏導(dǎo)數(shù),也可以由下式得到。

Paste_Image.png

2、紅框中是計算一個實例中的梯度中的偏導(dǎo)數(shù)項


Paste_Image.png

下圖中的第一個紅框中的內(nèi)容是計算梯度的累計值、第二個紅框是計算梯度(當他theta是第一項時不要lambda,否則相反)

Paste_Image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • 引言 機器學習欄目記錄我在學習Machine Learning過程的一些心得筆記,涵蓋線性回歸、邏輯回歸、Soft...
    hfk閱讀 4,399評論 4 18
  • 困乏不一定入眠 入眠不一定疲倦 關(guān)懷不一定因愛 愛不一定給予關(guān)懷 我自私成癮 每分每秒都是我的情懷 不要爭辯 你若...
    一凡SU閱讀 200評論 0 0
  • 這個問題的引入是因為在解決修改Hostname的問題的過程中,想針對已經(jīng)解決的問題,寫對應(yīng)的案例出來.然后整理出來...
    wwling2001閱讀 245評論 1 1
  • 《亂世佳人》 清風楊柳絮飄渺, 孤舟載客逍自遙。 蓮塘一片丹心絕, 欲使滄海明月夜。 長發(fā)及腰亂世飄, 斬斷浮殷囚...
    擎晨馬春燕閱讀 376評論 0 3