在Bagging與隨機(jī)森林算法原理小結(jié)中，我們對(duì)隨機(jī)森林(Random Forest, 以下簡(jiǎn)稱RF）的原理做了總結(jié)。本文就從實(shí)踐的角度對(duì)RF做一個(gè)總結(jié)。重點(diǎn)講述scikit-learn中RF的調(diào)參注意事項(xiàng)，以及和GBDT調(diào)參的異同點(diǎn)。
1. scikit-learn隨機(jī)森林類庫(kù)概述
在scikit-learn中，RF的分類類是RandomForestClassifier，回歸類是RandomForestRegressor。當(dāng)然RF的變種Extra Trees也有， 分類類ExtraTreesClassifier，回歸類ExtraTreesRegressor。由于RF和Extra Trees的區(qū)別較小，調(diào)參方法基本相同，本文只關(guān)注于RF的調(diào)參。
和GBDT的調(diào)參類似，RF需要調(diào)參的參數(shù)也包括兩部分，第一部分是Bagging框架的參數(shù)，第二部分是CART決策樹的參數(shù)。下面我們就對(duì)這些參數(shù)做一個(gè)介紹。
2. RF框架參數(shù)
首先我們關(guān)注于RF的Bagging框架的參數(shù)。這里可以和GBDT對(duì)比來(lái)學(xué)習(xí)。在scikit-learn 梯度提升樹(GBDT)調(diào)參小結(jié)中我們對(duì)GBDT的框架參數(shù)做了介紹。GBDT的框架參數(shù)比較多，重要的有最大迭代器個(gè)數(shù)，步長(zhǎng)和子采樣比例，調(diào)參起來(lái)比較費(fèi)力。但是RF則比較簡(jiǎn)單，這是因?yàn)閎agging框架里的各個(gè)弱學(xué)習(xí)器之間是沒有依賴關(guān)系的，這減小的調(diào)參的難度。換句話說(shuō)，達(dá)到同樣的調(diào)參效果，RF調(diào)參時(shí)間要比GBDT少一些。
下面我來(lái)看看RF重要的Bagging框架的參數(shù)，由于RandomForestClassifier和RandomForestRegressor參數(shù)絕大部分相同，這里會(huì)將它們一起講，不同點(diǎn)會(huì)指出。
