在集成學(xué)習(xí)之Adaboost算法原理小結(jié)中,我們對Adaboost的算法原理做了一個(gè)總結(jié)。這里我們就從實(shí)用的角度對scikit-learn中Adaboost類庫的使用做一個(gè)小結(jié),重點(diǎn)對調(diào)參的注意事項(xiàng)做一個(gè)總結(jié)。
1. Adaboost類庫概述
scikit-learn中Adaboost類庫比較直接,就是AdaBoostClassifier和AdaBoostRegressor兩個(gè),從名字就可以看出AdaBoostClassifier用于分類,AdaBoostRegressor用于回歸。
AdaBoostClassifier使用了兩種Adaboost分類算法的實(shí)現(xiàn),SAMME和SAMME.R。而AdaBoostRegressor則使用了我們原理篇里講到的Adaboost回歸算法的實(shí)現(xiàn),即Adaboost.R2。
當(dāng)我們對Adaboost調(diào)參時(shí),主要要對兩部分內(nèi)容進(jìn)行調(diào)參,第一部分是對我們的Adaboost的框架進(jìn)行調(diào)參, 第二部分是對我們選擇的弱分類器進(jìn)行調(diào)參。兩者相輔相成。下面就對Adaboost的兩個(gè)類:AdaBoostClassifier和AdaBoostRegressor從這兩部分做一個(gè)介紹。
2. AdaBoostClassifier和AdaBoostRegressor框架參數(shù)
我們首先來看看AdaBoostClassifier和AdaBoostRegressor框架參數(shù)。兩者大部分框架參數(shù)相同,下面我們一起討論這些參數(shù),兩個(gè)類如果有不同點(diǎn)我們會(huì)指出。