關于線性回歸一直都知道是那么回事，方差最小啥的。但是涉及到計算方法或者代碼啥的，也是不太了解，最近就做了個全面的總結，數(shù)學公式比較麻煩，所以直接上祖?zhèn)魇指?/p>
首先是因為我某天遇到個這樣的問題，想知道最大似然估計和最小二乘的區(qū)別，下面的例子其實是來源知乎的一個答案，但有助理解，就寫下來了
最小二乘和最大似然.JPG
這幅圖是最小二乘的矩陣解法的公式推算，這種解法是最小二乘的逆矩陣解法，還有一種解法是梯度下降，在下面也羅列了大概的優(yōu)缺點，這里和上面那個圖有個地方的轉換就是 圖上右方的h(x) = Wx
線性回歸模型.JPG
目前梯度下降的公式我還沒自己推算一遍，所以先沒放上來(百度一大推)
最后這個是一元線性回歸下的計算y = ax+b
一元線性回歸計算.JPG
這里github有我寫的一個簡單的代碼，就是根據(jù)最后這個計算a和b的公式計算出來并且畫圖的
