1. 有監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)

前者訓(xùn)練集中的每個(gè)數(shù)據(jù)都有正確答案，后者反之（聚類）

2. 回歸問題與分類問題

前者預(yù)測(cè)連續(xù)值輸出，后者預(yù)測(cè)離散值輸出

3. 梯度下降算法

梯度下降

下降公式如上圖，注意兩個(gè)參數(shù)是同時(shí)更新的，左邊是正確的，注意區(qū)分！

4. 線性回歸模型

線性回歸模型的代價(jià)函數(shù)是一個(gè)下凹函數(shù)（凸函數(shù)），只有一個(gè)全局極小點(diǎn)，即最小點(diǎn)，因此通過梯度下降法可以方便地得到最小點(diǎn)，不用擔(dān)心在某個(gè)極小點(diǎn)循環(huán)

5. 卷積神經(jīng)網(wǎng)絡(luò)

通過局部連接與權(quán)值共享極大地減少了訓(xùn)練參數(shù)。
CNN中主要有兩種特殊的層：卷積層、池化/采樣層
卷積層：卷積核在上一級(jí)輸入層上滑動(dòng)，目的是得到特征。
池化/采樣層：針對(duì)卷積層操作，對(duì)特征信號(hào)進(jìn)行抽取，減少訓(xùn)練參數(shù)的同時(shí)，減小過擬合。池化通常有max-pooling和mean-pooling兩種。