一. GBDT的經(jīng)典paper：《Greedy Function Approximation：A Gradient Boosting Machine》
Abstract
Function approximation是從function space方面進(jìn)行numerical optimization，其將stagewise additive expamsions和steepest-descent minimization結(jié)合起來。而由此而來的Gradient Boosting Decision Tree（GBDT）可以適用于regression和classification，都具有完整的，魯棒性高，解釋性好的優(yōu)點(diǎn)。
1. Function estimation
在機(jī)器學(xué)習(xí)的任務(wù)中，我們一般面對(duì)的問題是構(gòu)造loss function，并求解其最小值?？梢詫懗扇缦滦问剑?/p>
通常的loss function有：
1. regression：均方誤差(y-F)2，絕對(duì)誤差|y-F|
