1.前言
前面提到的算法都是通過一個函數來擬合數據解決問題，也就是單個機器學習算法，與其相對的還有多個機器學習算法，即：集成方法。
集成方法來源：如果模型之間近似相互獨立，則多個模型聯(lián)合的性能要優(yōu)于單個模型。大致上可以分成兩類：（一）把幾種不同的機器學習算法集合到一起（二）把一種算法的不同參數組合起來。
集成方法由兩層算法組成。底層的算法叫基學習器或者弱學習器，是單個機器學習算法，然后這些算法被集成到高層的一個方法中。
梯度提升算法(Gradient Boosting)屬于把一種算法的不同參數組合起來的方式。
2.關于梯度提升算法
梯度提升算法是由Bagging算法改進而來。
Bagging算法的基本原理：從數據集中有放回的隨機取樣，每次抽取一定比例的數據作為訓練樣本，剩下的數據作為測試樣本。重復以上動作n次，然后對每次動作訓練一個基學習器，然后把這些學習器組合到一起，成為集合算法。由于n的不確定性，所以并不是所有的基學習器都會參與到最后的集合算法中去，后面會介紹如何進行篩選。
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動安全 [無線安全]玩轉無線電——不安全的藍牙鎖 2017-07-26
- 消息隊列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標分割】 2017-07-26
- 詞向量-LRWE模型-更好地識別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實現(xiàn)JSON轉Model - HandyJSON使用講解 2017-07-26
- 阿里移動安全 Android端惡意鎖屏勒索應用分析 2017-07-26
- 集合結合數據結構來看看(二) 2017-07-26
學習是年輕人改變自己的最好方式