在Bagging與隨機(jī)森林算法原理小結(jié)中，我們對(duì)隨機(jī)森林(Random Forest, 以下簡(jiǎn)稱RF）的原理做了總結(jié)。本文就從實(shí)踐的角度對(duì)RF做一個(gè)總結(jié)。重點(diǎn)講述scikit-learn中RF的調(diào)參注意事項(xiàng)，以及和GBDT調(diào)參的異同點(diǎn)。
1. scikit-learn隨機(jī)森林類庫(kù)概述
在scikit-learn中，RF的分類類是RandomForestClassifier，回歸類是RandomForestRegressor。當(dāng)然RF的變種Extra Trees也有， 分類類ExtraTreesClassifier，回歸類ExtraTreesRegressor。由于RF和Extra Trees的區(qū)別較小，調(diào)參方法基本相同，本文只關(guān)注于RF的調(diào)參。
和GBDT的調(diào)參類似，RF需要調(diào)參的參數(shù)也包括兩部分，第一部分是Bagging框架的參數(shù)，第二部分是CART決策樹(shù)的參數(shù)。下面我們就對(duì)這些參數(shù)做一個(gè)介紹。
2. RF框架參數(shù)
首先我們關(guān)注于RF的Bagging框架的參數(shù)。這里可以和GBDT對(duì)比來(lái)學(xué)習(xí)。在scikit-learn 梯度提升樹(shù)(GBDT)調(diào)參小結(jié)中我們對(duì)GBDT的框架參數(shù)做了介紹。GBDT的框架參數(shù)比較多，重要的有最大迭代器個(gè)數(shù)，步長(zhǎng)和子采樣比例，調(diào)參起來(lái)比較費(fèi)力。但是RF則比較簡(jiǎn)單，這是因?yàn)閎agging框架里的各個(gè)弱學(xué)習(xí)器之間是沒(méi)有依賴關(guān)系的，這減小的調(diào)參的難度。換句話說(shuō)，達(dá)到同樣的調(diào)參效果，RF調(diào)參時(shí)間要比GBDT少一些。
下面我來(lái)看看RF重要的Bagging框架的參數(shù)，由于RandomForestClassifier和RandomForestRegressor參數(shù)絕大部分相同，這里會(huì)將它們一起講，不同點(diǎn)會(huì)指出。
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無(wú)線安全]玩轉(zhuǎn)無(wú)線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問(wèn)題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來(lái)看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式