在集成學習之Adaboost算法原理小結(jié)中，我們對Boosting家族的Adaboost算法做了總結(jié)，本文就對Boosting家族中另一個重要的算法梯度提升樹(Gradient Boosting Decison Tree, 以下簡稱GBDT)做一個總結(jié)。GBDT有很多簡稱，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT（Gradient Boosting Regression Tree）, MART(Multiple Additive Regression Tree)，其實都是指的同一種算法，本文統(tǒng)一簡稱GBDT。GBDT在BAT大廠中也有廣泛的應(yīng)用，假如要選擇3個最重要的機器學習算法的話，個人認為GBDT應(yīng)該占一席之地。
1. GBDT概述
GBDT也是集成學習Boosting家族的成員，但是卻和傳統(tǒng)的Adaboost有很大的不同。回顧下Adaboost，我們是利用前一輪迭代弱學習器的誤差率來更新訓練集的權(quán)重，這樣一輪輪的迭代下去。GBDT也是迭代，使用了前向分布算法，但是弱學習器限定了只能使用CART回歸樹模型，同時迭代思路和Adaboost也有所不同。
在GBDT的迭代中，假設(shè)我們前一輪迭代得到的強學習器是
延伸閱讀
學習是年輕人改變自己的最好方式