Bagging和Boosting都是將已有的分類或回歸算法通過一定方式組合起來，形成一個性能更加強大的分類器，更準確的說這是一種分類算法的組裝方法。即將弱分類器組裝成強分類器的方法。
一、 booststraping：意思是依靠你自己的資源，稱為自助法，它是一種有放回的抽樣方法，它是非參數統計中一種重要的估計統計量方差進而進行區間估計的統計方法（如均值、方差等）。
其核心思想和基本步驟如下：
（1）采用重抽樣技術從原始樣本中抽取一定數量（自己給定）的樣本，此過程允許重復抽樣。
（2）根據抽出的樣本計算統計量T。
（3）重復上述N次（一般大于1000），得到統計量T。
（4）計算上述N個統計量T的樣本方差，得到統計量的方差。
應該說是Bootstrap是現代統計學較為流行的方法，小樣本效果好，通過方差的估計可以構造置信區間等。
二、Bagging (bootstrap aggregating)
Bagging即套袋法，可譯為自主整合法，其算法過程如下：
A）從原始樣本集中抽取訓練集。每輪從原始樣本集中使用Bootstraping的方法抽取n個訓練樣本（在訓練集中，有些樣本可能被多次抽取到，而有些樣本可能一次都沒有被抽中）。共進行k輪抽取，得到k個訓練集。（k個訓練集之間是相互獨立的）
B）每次使用一個訓練集得到一個模型，k個訓練集共得到k個模型。（注：這里并沒有具體的分類算法或回歸方法，我們可以根據具體問題采用不同的分類或回歸方法，如決策樹、感知器等）
C）對分類問題：將上步得到的k個模型采用投票的方式得到分類結果；對回歸問題，計算上述模型的均值作為最后的結果。（所有模型的重要性相同）
三、Boosting
其主要思想是將弱分類器組裝成一個強分類器。在PAC（概率近似正確）學習框架下，則一定可以將弱分類器組裝成一個強分類器。
其中主要的是adaboost（adaptive boosting），即自適應助推法。
關于Boosting的兩個核心問題：
1）在每一輪如何改變訓練數據的權值或概率分布？
通過提高那些在前一輪被弱分類器分錯樣例的權值，減小前一輪分對樣例的權值，來使得分類器對誤分的數據有較好的效果。
2）通過什么方式來組合弱分類器？
通過加法模型將弱分類器進行線性組合，比如AdaBoost通過加權多數表決的方式，即增大錯誤率小的分類器的權值，同時減小錯誤率較大的分類器的權值。
而提升樹通過擬合殘差的方式逐步減小殘差，將每一步生成的模型疊加得到最終模型。
gradient boosting：
boosting是一種思想，Gradient Boosting是一種實現Boosting的方法，它的主要思想是，每一次建立模型，是在之前建立模型損失函數的梯度下降方向。損失函數描述的是模型的不靠譜程度，損失函數越大，說明模型越容易出錯。如果我們的模型能夠讓損失函數持續的下降，說明我們的模型在不停的改進，而最好的方式就是讓損失函數在其梯度的方向下降。
Bagging和Boosting的區別：
1）樣本選擇上：
Bagging：訓練集是在原始集中有放回選取的，從原始集中選出的各輪訓練集之間是獨立的。
Boosting：每一輪的訓練集不變，只是訓練集中每個樣例在分類器中的權重發生變化。而權值是根據上一輪的分類結果進行調整。
2）樣例權重：
Bagging：使用均勻取樣，每個樣例的權重相等
Boosting：根據錯誤率不斷調整樣例的權值，錯誤率越大則權重越大。
3）預測函數：
Bagging：所有預測函數的權重相等。
Boosting：每個弱分類器都有相應的權重，對于分類誤差小的分類器會有更大的權重。
4）并行計算：
Bagging：各個預測函數可以并行生成
Boosting：各個預測函數只能順序生成，因為后一個模型參數需要前一輪模型的結果。
在大多數數據集中，boosting的準確性要比bagging高。有一些數據集總，boosting會退化-overfit。boosting思想的一種改進型adaboost方法在郵件過濾，文本分類中有很好的性能。
四、總結
這兩種方法都是把若干個分類器整合為一個分類器的方法，只是整合的方式不一樣，最終得到不一樣的效果，將不同的分類算法套入到此類算法框架中一定程度上會提高了原單一分類器的分類效果，但是也增大了計算量。
下面是將決策樹與這些算法框架進行結合所得到的新的算法：
1）Bagging + 決策樹 = 隨機森林
2）AdaBoost + 決策樹 = 提升樹
3）Gradient Boosting + 決策樹 = GBDT
參考文獻：
1、快速理解bootstrap,bagging,boosting-三個概念（CSDN博客， 作者：wangqi880）
2、Bagging和Boosting 概念及區別（博客園， 作者：liuwu265）
