GBDT (Gradient Boosting Decision Tree)屬于集成學習中的Boosting流派，迭代地訓練基學習器 (base learner)，當前基學習器依賴于上一輪基學習器的學習結(jié)果。 不同于AdaBoost自適應地調(diào)整樣本的權(quán)值分布，GBDT是通過不斷地擬合殘差 (residual)來“糾錯”基學習器的。
1. Gradient Boosting
Gradient Boosting Machine (GBM) 是由大牛Friedman [1,2] 提出來，基本思想非常簡單：基學習器存在著分類/回歸錯誤的情況，在下一輪基學習器學習時努力地糾正這個錯誤。在回歸問題中，這個錯誤被稱為殘差。比如，在學習樣本(
延伸閱讀
學習是年輕人改變自己的最好方式