title: CS229 Week2 Linear Regression with Multiple Variable
date: 2017-03-26 18:31:01
categories: ML/CS229
mathjax: true
tags: [Machine Learning,CS229]
第二周
4 多變量線性回歸(Linear Regression with Multiple Variables)
4.1 多維特征Multiple Features
例如房子的多維特征
x_{2}= \begin{bmatrix} 1\\ 3\\ \end{bmatrix}
支持多變量的假設h_\theta(x)=θ_0+θ_1*x_1+...θ_n*x_n
即：h_\theta(x)=θ^{T}X
4.2 多變量梯度下降
代價函數：
J(θ_0,θ_1..θ_n)= \frac{1}{2m}\sum_{1}^{m}(h(x_i) - y_i)^2
同樣，根據批量梯度下降算法：
\theta_n=\theta_n-\alpha\frac{1}{m}\sum^{m}_{i=1}(h_\theta(x_i)-y_i)x_{n,i}
4.3 梯度下降法實踐 1-特征縮放
使得所有特征的尺度都盡量縮放到-1到1之間
4.4 梯度下降法實踐 2-學習率
學習率即步長：通常有
α=0.01， 0.03， 0.1， 0.3， 1， 3， 10
4.5 特征和多項式回歸
線性回歸不一定符合數據本身。
因此有時需要曲線來適應數據。如：
h_\theta(x)=θ_0+θ_1*x_1+θ_2*x_2^2
注：如果我們采用多項式回歸模型，在運行梯度下降算法前， 特征縮放非常有必要
4.6 正規方程
梯度下降算法來尋找cost的最小值很方便，但是對于某些線性回歸問題，正規方程方法是更好的解決方案。 (如拋物線的最小值)
Paste_Image.png
