監督學習

非監督學習

監督學習的一般流程與術語
x和y

訓練模型

訓練模型即最小化代價函數的過程，有如下方法

梯度下降法

模型下降法(Gradient Descent)有一個很形象的幫助理解的方法(對于2個參數的情況)

快速收斂的Tricks

經驗為主

特征縮放(Feature Scaling)

• 均值歸一化(Mean Normalization)

損失函數變大

學習率過大，overshooting

線性回歸(Linear Regression)

損失函數：

邏輯回歸(Logistic Regression)

損失函數：
最大似然估計(maximum likelihood estimation)

不用手動選擇alpha(線性搜索法line search自動選擇)
比梯度下降法更快
更復雜

多分類問題

共軛梯度法(Conjugate Gradient)
DFP
BFGS

overfitting：有太多feature，hypothesis很容易擬合當前數據，loss接近0，但是不能很好的泛化
high variance