發(fā)簡信
IP屬地：福建
-
接下來的一些想法
這一篇寫給自己，想把這個博客好好寫下去。 之前機(jī)器學(xué)習(xí)系列會繼續(xù)寫下去， 后面打算寫一些推薦系統(tǒng)相關(guān)的內(nèi)容，接下來是EM算法，以及EM的應(yīng)用例子...
-
機(jī)器學(xué)習(xí)14 XGBoost
這一篇開始介紹XGBoost。 和GBDT不同， XGBoost不僅僅使用了一階梯度， 還使用了二階梯度。同時增加了正則化。 第m步的損失函數(shù)：...
-
機(jī)器學(xué)習(xí)13 GBDT
這一篇開始講GBDT(梯度提升決策樹)， 根據(jù)上一篇可知，該模型每次學(xué)習(xí)的是損失函數(shù)的負(fù)梯度。所以基模型是回歸樹（因?yàn)槊看味荚跀M合一個確定的值，...
-
機(jī)器學(xué)習(xí)10 Bagging and Boosting
這一篇， 我們希望提升模型的性能， 除了更多的數(shù)據(jù)，更好的EDA等，集成學(xué)習(xí)可以從模型的角度提升模型的學(xué)習(xí)性能，即將基模型組合成一個大模型。 在...
-
機(jī)器學(xué)習(xí)12 提升樹模型與梯度提升
這一篇繼續(xù)boosting，介紹一下提升樹算法， 提升樹以決策樹為基模型， 依然是加法模型，優(yōu)化算法是前向分步算法。 針對分類問題， 決策樹是二...
-
機(jī)器學(xué)習(xí)11 AdaBoost 與 前向分步算法
這一篇開始介紹Boosting，我們先介紹Boosting中的第一個模型， AdaBoost, 二分類學(xué)習(xí)模型 AdaBoost的基本原理，是每...
-
機(jī)器學(xué)習(xí)09 模型性能，選擇與泛化能力到現(xiàn)在為止， 我們介紹了一些分類回歸的模型， 當(dāng)然還有許許多多的模型沒有介紹， 同時我們到現(xiàn)在還沒有對數(shù)據(jù)有過任何的加工，真實(shí)情況下，數(shù)據(jù)是需要...
-
機(jī)器學(xué)習(xí)07 SVM
這一講要開始講SVM(Support Vector Machine)了，在深度學(xué)習(xí)流行以前，SVM占據(jù)著很重要的位置，它的理論推導(dǎo)是非常優(yōu)美的。...
-
機(jī)器學(xué)習(xí)08 決策樹模型
前面若干篇幅， 主要講了線性分類器， 這一節(jié)開始， 我們會著重介紹決策樹模型， 從http://www.lxweimin.com/p/14165...