本文參考從機(jī)器學(xué)習(xí)談起, 麥子學(xué)院機(jī)器學(xué)習(xí)

簡單來說，機(jī)器學(xué)習(xí)相當(dāng)于人類的學(xué)習(xí)的歸納演繹，利用已有的數(shù)據(jù)進(jìn)行學(xué)習(xí)歸納，最終達(dá)到預(yù)測的目的。

基本概念
訓(xùn)練集(training set/data)/訓(xùn)練樣例（training examples): 用來進(jìn)行訓(xùn)練，也就是產(chǎn)生模型或者算法的數(shù)據(jù)集.
測試集(testing set/data)/測試樣例 (testing examples)：用來專門進(jìn)行測試已經(jīng)學(xué)習(xí)好的模型或者算法的數(shù)據(jù)集.
特征向量(features/feature vector)：屬性的集合，通常用一個向量來表示，附屬于一個實(shí)例.
標(biāo)記(label): c(x), 實(shí)例類別的標(biāo)記,也即目標(biāo)的類別。

回歸算法有兩個重要的子類：線性回歸和邏輯回歸。
簡單來講，線性回歸就是找出各個自變量（特征向量）與因變量（標(biāo)記）相關(guān)關(guān)系的算法，線性回歸處理的大都是數(shù)值問題，目標(biāo)標(biāo)記為連續(xù)性數(shù)值 (continuous numeric value)，也就是最后預(yù)測出的結(jié)果是數(shù)字，例如房價。而邏輯回歸屬于分類算法，目標(biāo)標(biāo)記為類別型數(shù)據(jù)(category)， 也就是說，邏輯回歸預(yù)測結(jié)果是離散的分類，例如判斷這封郵件是否是垃圾郵件。

從訓(xùn)練集有無標(biāo)記可將算法分為監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)以及無監(jiān)督學(xué)習(xí)：

• 有監(jiān)督學(xué)習(xí)(supervised learning)： 訓(xùn)練集有類別標(biāo)記(class label)
• 無監(jiān)督學(xué)習(xí)(unsupervised learning)： 無類別標(biāo)記(class label)
• 半監(jiān)督學(xué)習(xí)（semi-supervised learning)：有類別標(biāo)記的訓(xùn)練集 + 無標(biāo)記的訓(xùn)練集

機(jī)器學(xué)習(xí)方法

1.線性回歸（Linear Regression)

線性回歸屬于回歸算法，其可分為兩個次類：簡單線性回歸(Simple Linear Regression)和多元線性回歸。
簡單線性回歸及只含一個自變量和一個因變量，利用一條直線來模擬兩者之間的關(guān)系。當(dāng)自變量升級為多個時便稱為多元線性回歸（multiple regression）。

簡單線性回歸

2. 決策樹（decision tree）

決策樹是一個類似于流程圖的樹結(jié)構(gòu)：其中，每個內(nèi)部結(jié)點(diǎn)表示在一個屬性上的測試，每個分支代表一個屬性輸出，而每個樹葉結(jié)點(diǎn)代表類或類分布。樹的最頂層是根結(jié)點(diǎn)。應(yīng)用：銀行信用自動評估系統(tǒng)。

決策樹

決策樹的優(yōu)點(diǎn)：直觀，便于理解，小規(guī)模數(shù)據(jù)集有效
決策樹的缺點(diǎn)：處理連續(xù)變量不好;類別較多時，錯誤增加的比較快;可規(guī)模性一般。

3. 臨近取樣（k-Nearest Neighbor）

臨近取樣即以所有已知類別的實(shí)例作為參照，判斷未知實(shí)例的類別。
算法步驟：為了判斷未知實(shí)例的類別，需選擇K個距離此未知實(shí)例最近的實(shí)例（點(diǎn)），根據(jù)少數(shù)服從多數(shù)的投票法則(majority-voting)，未知實(shí)例與這K個最鄰近實(shí)例中個數(shù)較多的類別屬于同一類。因此參數(shù)K最好選擇奇數(shù)。

臨近取樣

算法優(yōu)點(diǎn)：簡單；易于理解；容易實(shí)現(xiàn)；通過對K的選擇可具備對抗噪音數(shù)據(jù)的健壯性。
算法缺點(diǎn)：需要大量空間儲存所有已知實(shí)例；算法復(fù)雜度高（需要比較所有已知實(shí)例與要分類的實(shí)例）；當(dāng)其樣本分布不平衡時，比如其中一類樣本過大（實(shí)例數(shù)量過多）占主導(dǎo)的時候，新的未知實(shí)例容易被歸類為這個主導(dǎo)樣本，因?yàn)檫@類樣本實(shí)例的數(shù)量過大，但這個新的未知實(shí)例實(shí)際并木接近目標(biāo)樣本。
改進(jìn)版本：考慮距離，根據(jù)距離加上權(quán)重；比如: 1/d (d: 距離）。

4. 支持向量機(jī)（SVM）

支持向量機(jī)算法是誕生于統(tǒng)計(jì)學(xué)習(xí)界，同時在機(jī)器學(xué)習(xí)界大放光彩的經(jīng)典算法。

支持向量機(jī)算法從某種意義上來說是邏輯回歸算法的強(qiáng)化：通過給予邏輯回歸算法更嚴(yán)格的優(yōu)化條件，支持向量機(jī)算法可以獲得比邏輯回歸更好的分類界線。但是如果沒有某類函數(shù)技術(shù)，則支持向量機(jī)算法最多算是一種更好的線性分類技術(shù)。

但是，通過跟高斯“核”的結(jié)合，支持向量機(jī)可以表達(dá)出非常復(fù)雜的分類界線，從而達(dá)成很好的的分類效果。“核”事實(shí)上就是一種特殊的函數(shù)，最典型的特征就是可以將低維的空間映射到高維的空間。

算法原理：找出離兩個（或多個）分類中實(shí)例的距離最小的線，當(dāng)數(shù)據(jù)集在平面或和低維空間中難以區(qū)分時，常常需要將其映射到高維空間中來尋找用以區(qū)分各個實(shí)例類的平面。

SVM

SVM擴(kuò)展可解決多個類別分類問題，對于每個類，有一個當(dāng)前類和其他類的二類分類器（one-vs-rest)。

5. 神經(jīng)網(wǎng)絡(luò)（Nerual Network）

神經(jīng)網(wǎng)絡(luò)(也稱之為人工神經(jīng)網(wǎng)絡(luò)，ANN)算法是80年代機(jī)器學(xué)習(xí)界非常流行的算法，不過在90年代中途衰落。現(xiàn)在，攜著“深度學(xué)習(xí)”之勢，神經(jīng)網(wǎng)絡(luò)重裝歸來，重新成為最強(qiáng)大的機(jī)器學(xué)習(xí)算法之一。　　
神經(jīng)網(wǎng)絡(luò)的誕生起源于對大腦工作機(jī)理的研究。早期生物界學(xué)者們使用神經(jīng)網(wǎng)絡(luò)來模擬大腦。機(jī)器學(xué)習(xí)的學(xué)者們使用神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)的實(shí)驗(yàn)，發(fā)現(xiàn)在視覺與語音的識別上效果都相當(dāng)好。在BP算法(加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程的數(shù)值算法)誕生以后，神經(jīng)網(wǎng)絡(luò)的發(fā)展進(jìn)入了一個熱潮。BP算法的發(fā)明人之一是機(jī)器學(xué)習(xí)大牛Geoffrey Hinton。　　
具體說來，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)理是什么？簡單來說，就是分解與整合。在著名的Hubel-Wiesel試驗(yàn)中，學(xué)者們研究貓的視覺分析機(jī)理是這樣的。

Hubel-Wiesel試驗(yàn)與大腦視覺機(jī)理

　　
　　比方說，一個正方形，分解為四個折線進(jìn)入視覺處理的下一層中。四個神經(jīng)元分別處理一個折線。每個折線再繼續(xù)被分解為兩條直線，每條直線再被分解為黑白兩個面。于是，一個復(fù)雜的圖像變成了大量的細(xì)節(jié)進(jìn)入神經(jīng)元，神經(jīng)元處理以后再進(jìn)行整合，最后得出了看到的是正方形的結(jié)論。這就是大腦視覺識別的機(jī)理，也是神經(jīng)網(wǎng)絡(luò)工作的機(jī)理。　　讓我們看一個簡單的神經(jīng)網(wǎng)絡(luò)的邏輯架構(gòu)。在這個網(wǎng)絡(luò)中，分成輸入層，隱藏層，和輸出層。輸入層負(fù)責(zé)接收信號，隱藏層負(fù)責(zé)對數(shù)據(jù)的分解與處理，最后的結(jié)果被整合到輸出層。每層中的一個圓代表一個處理單元，可以認(rèn)為是模擬了一個神經(jīng)元，若干個處理單元組成了一個層，若干個層再組成了一個網(wǎng)絡(luò)，也就是"神經(jīng)網(wǎng)絡(luò)"。

神經(jīng)網(wǎng)絡(luò)的邏輯架構(gòu)

LeNet的效果展示

　　右下方的方形中顯示的是輸入計(jì)算機(jī)的圖像，方形上方的紅色字樣“answer”后面顯示的是計(jì)算機(jī)的輸出。左邊的三條豎直的圖像列顯示的是神經(jīng)網(wǎng)絡(luò)中三個隱藏層的輸出，可以看出，隨著層次的不斷深入，越深的層次處理的細(xì)節(jié)越低，例如層3基本處理的都已經(jīng)是線的細(xì)節(jié)了。LeNet的發(fā)明人是機(jī)器學(xué)習(xí)的大牛Yann LeCun。
　　進(jìn)入90年代，神經(jīng)網(wǎng)絡(luò)的發(fā)展進(jìn)入了一個瓶頸期。其主要原因是盡管有BP算法的加速，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程仍然很困難。因此90年代后期支持向量機(jī)(SVM)算法取代了神經(jīng)網(wǎng)絡(luò)的地位。

6. K-means算法

前面講的幾種算法都屬于監(jiān)督學(xué)習(xí)，而K-means屬于非監(jiān)督學(xué)習(xí)中最典型的代表之一。K-means算法屬于聚類算法。
K-means算法原理：K-means算法的前提是需先知道數(shù)據(jù)集分為K類。
（1）任意選取每一類的中心值（點(diǎn)）。
（2）計(jì)算其他的點(diǎn)（實(shí)例）到各個分類中心值的距離，根據(jù)距離的大小將各個待分類的點(diǎn)，距離最近的為同一類，如此將所有點(diǎn)歸類完成。
（3）將分好的各類取平均值為中心值，然后再次將所有的點(diǎn)計(jì)算距離進(jìn)行分類。
（4）如此循環(huán)往復(fù)，直到某次分類計(jì)算結(jié)果與上次一樣，則停止循環(huán)計(jì)算；或達(dá)到人為設(shè)定分類次數(shù)后終止計(jì)算，最后所得即為分類結(jié)果。

K-means算法優(yōu)點(diǎn)：速度快，簡單。
K-means算法缺點(diǎn)：最終結(jié)果跟初始點(diǎn)選擇相關(guān)，容易陷入局部最優(yōu)；需先知道K值。

7. 層次聚類（Hierarchical Clustering）

層次聚類對樣品中的每一個樣品計(jì)算其與其他樣品間的距離。
假設(shè)有N個待聚類的樣本，對于層次聚類來說，步驟：
1、（初始化）把每個樣本歸為一類，計(jì)算每兩個類之間的距離，也就是樣本與樣本之間的相似度；
2、尋找各個類之間最近的兩個類，把他們歸為一類（這樣類的總數(shù)就少了一個）；
3、重新計(jì)算新生成的這個類與各個舊類之間的相似度；
4、重復(fù)2和3直到所有樣本點(diǎn)都?xì)w為一類，結(jié)束。

整個聚類過程其實(shí)是建立了一棵樹，在建立的過程中，可以通過在第二步上設(shè)置一個閾值，當(dāng)最近的兩個類的距離大于這個閾值，則認(rèn)為迭代可以終止。另外關(guān)鍵的一步就是第三步，如何判斷兩個類之間的相似度有不少種方法。這里介紹一下三種：

SingleLinkage：又叫做 nearest-neighbor ，就是取兩個類中距離最近的兩個樣本的距離作為這兩個集合的距離，也就是說，最近兩個樣本之間的距離越小，這兩個類之間的相似度就越大。容易造成一種叫做 Chaining 的效果，兩個 cluster 明明從“大局”上離得比較遠(yuǎn)，但是由于其中個別的點(diǎn)距離比較近就被合并了，并且這樣合并之后 Chaining 效應(yīng)會進(jìn)一步擴(kuò)大，最后會得到比較松散的 cluster 。

CompleteLinkage：這個則完全是 Single Linkage 的反面極端，取兩個集合中距離最遠(yuǎn)的兩個點(diǎn)的距離作為兩個集合的距離。其效果也是剛好相反的，限制非常大，兩個 cluster 即使已經(jīng)很接近了，但是只要有不配合的點(diǎn)存在，就頑固到底，老死不相合并，也是不太好的辦法。這兩種相似度的定義方法的共同問題就是指考慮了某個有特點(diǎn)的數(shù)據(jù)，而沒有考慮類內(nèi)數(shù)據(jù)的整體特點(diǎn)。

Average-linkage：這種方法就是把兩個集合中的點(diǎn)兩兩的距離全部放在一起求一個平均值，相對也能得到合適一點(diǎn)的結(jié)果。

average-linkage的一個變種就是取兩兩距離的中值，與取均值相比更加能夠解除個別偏離樣本對結(jié)果的干擾。