1.前言
前面提到的算法都是通過(guò)一個(gè)函數(shù)來(lái)擬合數(shù)據(jù)解決問(wèn)題，也就是單個(gè)機(jī)器學(xué)習(xí)算法，與其相對(duì)的還有多個(gè)機(jī)器學(xué)習(xí)算法，即：集成方法。
集成方法來(lái)源：如果模型之間近似相互獨(dú)立，則多個(gè)模型聯(lián)合的性能要優(yōu)于單個(gè)模型。大致上可以分成兩類(lèi)：（一）把幾種不同的機(jī)器學(xué)習(xí)算法集合到一起（二）把一種算法的不同參數(shù)組合起來(lái)。
集成方法由兩層算法組成。底層的算法叫基學(xué)習(xí)器或者弱學(xué)習(xí)器，是單個(gè)機(jī)器學(xué)習(xí)算法，然后這些算法被集成到高層的一個(gè)方法中。
梯度提升算法(Gradient Boosting)屬于把一種算法的不同參數(shù)組合起來(lái)的方式。
2.關(guān)于梯度提升算法
梯度提升算法是由Bagging算法改進(jìn)而來(lái)。
Bagging算法的基本原理：從數(shù)據(jù)集中有放回的隨機(jī)取樣，每次抽取一定比例的數(shù)據(jù)作為訓(xùn)練樣本，剩下的數(shù)據(jù)作為測(cè)試樣本。重復(fù)以上動(dòng)作n次，然后對(duì)每次動(dòng)作訓(xùn)練一個(gè)基學(xué)習(xí)器，然后把這些學(xué)習(xí)器組合到一起，成為集合算法。由于n的不確定性，所以并不是所有的基學(xué)習(xí)器都會(huì)參與到最后的集合算法中去，后面會(huì)介紹如何進(jìn)行篩選。
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無(wú)線(xiàn)安全]玩轉(zhuǎn)無(wú)線(xiàn)電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問(wèn)題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來(lái)看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式