在集成學(xué)習(xí)之Adaboost算法原理小結(jié)中，我們對Boosting家族的Adaboost算法做了總結(jié)，本文就對Boosting家族中另一個(gè)重要的算法梯度提升樹(Gradient Boosting Decison Tree, 以下簡稱GBDT)做一個(gè)總結(jié)。GBDT有很多簡稱，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT（Gradient Boosting Regression Tree）, MART(Multiple Additive Regression Tree)，其實(shí)都是指的同一種算法，本文統(tǒng)一簡稱GBDT。GBDT在BAT大廠中也有廣泛的應(yīng)用，假如要選擇3個(gè)最重要的機(jī)器學(xué)習(xí)算法的話，個(gè)人認(rèn)為GBDT應(yīng)該占一席之地。
1. GBDT概述
GBDT也是集成學(xué)習(xí)Boosting家族的成員，但是卻和傳統(tǒng)的Adaboost有很大的不同。回顧下Adaboost，我們是利用前一輪迭代弱學(xué)習(xí)器的誤差率來更新訓(xùn)練集的權(quán)重，這樣一輪輪的迭代下去。GBDT也是迭代，使用了前向分布算法，但是弱學(xué)習(xí)器限定了只能使用CART回歸樹模型，同時(shí)迭代思路和Adaboost也有所不同。
在GBDT的迭代中，假設(shè)我們前一輪迭代得到的強(qiáng)學(xué)習(xí)器是
延伸閱讀
學(xué)習(xí)是年輕人改變自己的最好方式