內(nèi)容：
1.算法概述
1.1 決策樹（DT）是一種基本的分類和回歸方法。在分類問題中它可以認(rèn)為是if-then規(guī)則的集合，也可以認(rèn)為是定義在特征空間與類空間上的條件概率分布，學(xué)習(xí)思想包括ID3,C4.5,CART（摘自《統(tǒng)計(jì)學(xué)習(xí)方法》）。
1.2 Bagging :基于數(shù)據(jù)隨機(jī)重抽樣的集成方法（Ensemble methods），也稱為自舉匯聚法（boostrap aggregating）,整個(gè)數(shù)據(jù)集是通過在原始數(shù)據(jù)集中隨機(jī)選擇一個(gè)樣本進(jìn)行替換得到的。進(jìn)而得到S個(gè)基預(yù)測器（ base estimators），選擇estimators投票最多的類別作為分類結(jié)果，estimators的平均值作為回歸結(jié)果。（摘自《統(tǒng)計(jì)學(xué)習(xí)方法》和scikit集成方法介紹）
1.3 隨機(jī)森林（RF）：基于boostrap重抽樣和隨機(jī)選取特征，基預(yù)測器是決策樹的集成方法（Ensemble methods）
1.4 Boosting :通過改變樣本的權(quán)重（誤分樣本權(quán)重?cái)U(kuò)大）學(xué)習(xí)多個(gè)基預(yù)測器，并將這些預(yù)測器進(jìn)行線性加權(quán)的集成方法 （摘自《統(tǒng)計(jì)學(xué)習(xí)方法》）
1.5 梯度提升決策樹（GBDT）:基于boosting方法，提升方向是梯度方向的決策樹的集成方法（Ensemble methods）
1.6 XGBDT:基于GBDT的一種升級(jí)版本，對(duì)目標(biāo)函數(shù)做了二階導(dǎo)數(shù)，主要改進(jìn)是使用了正則化和特征分塊存儲(chǔ)并行處理（參考大殺器xgboost指南）
1.7 回歸/分類樹樹模型函數(shù)：
，這里數(shù)據(jù)集被劃分為R1,...,Rm個(gè)區(qū)域，每一個(gè)區(qū)域?qū)?yīng)一個(gè)預(yù)測值Cm;其中I()是指示函數(shù)，當(dāng)滿足條件時(shí)返回1，否則為0
1.8 決策樹常見的損失函數(shù)：
用于分類的損失函數(shù)：01損失，LR的對(duì)數(shù)損失，softmax的mlogloss
用于回歸的損失函數(shù)：線性回歸的MSE
2.算法推導(dǎo)
2.1 決策樹生成過程就是一個(gè)遞歸的過程，如果滿足某種停止條件（樣本都是同一類別，迭代次數(shù)或者其他預(yù)剪枝參數(shù)）則返回多數(shù)投票的類作為葉結(jié)點(diǎn)標(biāo)識(shí)；否則選擇最佳劃分特征和特征值生成|T|個(gè)子節(jié)點(diǎn)，對(duì)子節(jié)點(diǎn)數(shù)據(jù)進(jìn)行劃分；所以劃分屬性的計(jì)算方式是DT的精髓，以下總結(jié)各種劃分屬性的計(jì)算方法（附一個(gè)java實(shí)現(xiàn)決策樹的demo）：
ID3與C4.5中使用的信息增益和信息增益率：
