? ? ? ? 在機器學習中,訓練集的樣本數量用m表示,輸入變量也稱特征變量用x表示,輸出變量也稱目標變量用y表示。對于整個房價模型可用下列圖片中的抽象構建來表示:
? ? ?
房價模型
? ? ? ? h是假設函數,完成從x(房屋大小)到y(房屋價格)的映射,形如h(x)=θ0+θ1*x1的假設函數稱為單變量線性回歸,因為變量中只有一個特征。
? ? ? ? 代價函數又稱損失函數,用于刻畫目標預測值和實際值之間的擬合度,往往用均方誤差的方法來度量,將代價函數縮至最小,就能使擬合度達到最高。線性回歸常用計算代價函數的方法是最小二乘法。
? ? ? ? 梯度下降法用來計算損失函數的最小值,為了獲得合適的參數θ0和θ1的值,需要對兩者進行同步更新迭代進行求解。梯度下降法的關鍵在于同步和步長因子α值的調節。
? ? ? α太小學習速率太慢,α太大會造成發散和無法收斂,故應采用合適的α值。對于導數項會隨著接近函數局部最優值而自動逐漸變小,降低下降的速率,提升最優值的迭代精度。
? ? ? 由以上算法組成了線性回歸算法,梯度下降算法不是唯一的解決線性回歸問題的方法,正規方程組的方法也可以解決線性回歸,并且有更好的泛化能力。