正規(guī)方程(沒搞明白這公式是怎么出來的。。。。)
1 . 如果使用正規(guī)方程法,那么就不需要歸一化特征變量。
2 . 并且下面列舉了你到底應(yīng)該在何時選擇使用梯度下降法還是正規(guī)方程法:
正規(guī)方程
即,在n比較小的時候選擇后者,在n比較大(>10000)的時候選擇前者
正規(guī)方程中的不可逆性
Octave 中有兩個函數(shù)可以求矩陣的逆,一個是pinv()
另一個是inv()
,區(qū)別是前者是偽逆,即使矩陣是不可逆的,也會在數(shù)學層面上給出計算結(jié)果。
如果不可逆,一般可能是特征中犯了如下錯誤,我們應(yīng)該盡力更正這些錯誤。
其實就是線性代數(shù)上面的一些知識,
1 . 將多余的特征替代掉(即特征之間可能是線性相關(guān)的,所以導致了不可逆)
2 . 刪除一些多余或者無用的特征(當m比n小的時候,此時會造成行數(shù)小于列數(shù),即自由變量太多,并不是滿秩的一個狀態(tài))
image.png
正規(guī)方程不可逆的情況
出現(xiàn)不可逆的情況很少發(fā)生,而且出現(xiàn)不可逆的問題,不應(yīng)該被太多關(guān)注