大家早安、午安、晚安，今天接著學習機器學習算法啦，上一篇介紹了提升算法(Boosting)算法，特別著重介紹了AdaBoost算法的核心原理，并且基于Python編程實現(xiàn)。
就像重大決策時會聽取不同專家的意見，而不是只考慮一個人的建議，在機器學習算法中，由于很多方法各有千秋，因此可以將不同的分類器組合起來，而這種組合結果則被稱為集成方法(ensemble method)或者元算法(meta-algorithm)。部分集成方式如下：
1）bagging：基于數(shù)據隨機重抽樣的分類器構建方法
自舉匯聚法(bootstrap aggregating)，也稱為bagging方法，是在從原始數(shù)據集選擇S次后得到S個新數(shù)據集的一種技術。新數(shù)據集和原數(shù)據集的大小相等。每個數(shù)據集都是通過在原始數(shù)據集中隨機選擇一個樣本來進行替換而得到的。這里的替換就意味著可以多次地選擇同一樣本。這一性質就允許新數(shù)據集中可以有重復的值，而原始數(shù)據集的某些值在新集合在則不再出現(xiàn)。在S個數(shù)據集建好之后，將某個學習算法分別作用于每個數(shù)據集就得到了S個分類器。當我要對新數(shù)據進行分類時，就可以應用這S個分類器進行分類。與此同時，選擇分類器投票中最多的類別作為最后的分類結果。具體包括隨機森林等。
2）boosting：提升方法
boosting方法和bagging方法很類似，也是一種集成方法，它們所使用的多個分類器的類型都是一致的。不同的是，在bagging方法中，不同的分類器是通過串行訓練而獲得的，每個新分類器都根據已訓練出的分類器的性能進行訓練，且每一個分類器權重是相等的。而boosting是通過集中關注被已有分類器錯分的那些數(shù)據來獲得新的分類器，也就是boosting分類的結果是基于所有分類器的加權求和的結果，每一個分類器的權重并不相等，每個權重代表的是其對應分類器在上一輪迭代中的成功度。具體的實現(xiàn)方法有AdaBoostde等。
在scikit-learn的內容中，關于分類器的集成方法(Ensemble methods)主要是在Ensemble methods中。它包括了：averaging methods(表示每個基分類器的權重是一樣的)，包括：Bagging methods、Forests of randomized trees；boosting methods(表示每個基分類器的權重是不一樣的，不斷訓練弱分類器來獲得強分類器)，包括：Adaboost、Gradient Tree Boosting等。
本篇主要是講sklearn中，實現(xiàn)Adaboost算法的AdaBoostClassifier模塊
1、AdaBoostClassifier模型參數(shù)
class sklearn.ensemble.AdaBoostClassifier(base_estimator=None, n_estimators=50, learning_rate=1.0, algorithm='SAMME.R', random_state=None)
1）base_estimator : object, optional (default=DecisionTreeClassifier)
2）algorithm : {‘SAMME’, ‘SAMME.R’}, optional (default=’SAMME.R’)
此處要著重說明一下，SAMME(discrete SAMME)表示使用的方法是Discrete AdaBoost，見圖1所示：
不難發(fā)現(xiàn)，這個算法與上一篇介紹的AdaBoost方法最主要的不同是a_m的常數(shù)項系數(shù)；
SAMME.R表示使用的方法是‘Real AdaBoost’，表示返回值不是離散的類型，而是一個實數(shù)值，來表示這樣預測的可信度（一個概率數(shù)值）
在AdaBoost模型中，有一個栗子對比了以下算法的錯誤率：基于單層決策樹的AdaBoost算法（上一篇中提到了）、基于多層決策樹的AdaBoost算法、Discrete AdaBoost算法和Real AdaBoost，他們的區(qū)別主要是在求解錯誤率的方式上。主要代碼以及效果圖如下：
從圖4中不難發(fā)現(xiàn)，上一篇中提到的基于單層決策樹的Adaboost的錯誤率很高，好吧，沒有對比就沒有傷害~~
再看一個sklearn中，adaboost的小栗子啦
1）準備數(shù)據
2）將訓練集中的數(shù)據最終的分類通過顏色表示出來
3）繪制決策分類的柱形圖
4）效果圖
好噠，初學階段，隨機決策森林等內容就不涉及啦，以后繼續(xù)深入，明天繼續(xù)學習~~
