1. 集成學(xué)習(xí)

集成學(xué)習(xí)（ensemble learning）通過(guò)組合多個(gè)基分類(lèi)器（base classifier）來(lái)完成學(xué)習(xí)任務(wù)，頗有點(diǎn)“三個(gè)臭皮匠頂個(gè)諸葛亮”的意味?；诸?lèi)器一般采用的是弱可學(xué)習(xí)（weakly learnable）分類(lèi)器，通過(guò)集成學(xué)習(xí)，組合成一個(gè)強(qiáng)可學(xué)習(xí)（strongly learnable）分類(lèi)器。所謂弱可學(xué)習(xí)，是指學(xué)習(xí)的正確率僅略?xún)?yōu)于隨機(jī)猜測(cè)的多項(xiàng)式學(xué)習(xí)算法；強(qiáng)可學(xué)習(xí)指正確率較高的多項(xiàng)式學(xué)習(xí)算法。集成學(xué)習(xí)的泛化能力一般比單一的基分類(lèi)器要好，這是因?yàn)榇蟛糠只诸?lèi)器都分類(lèi)錯(cuò)誤的概率遠(yuǎn)低于單一基分類(lèi)器的。

偏差與方差

“偏差-方差分解”（bias variance decomposition）是用來(lái)解釋機(jī)器學(xué)習(xí)算法的泛化能力的一種重要工具。對(duì)于同一個(gè)算法，在不同訓(xùn)練集上學(xué)得結(jié)果可能不同。對(duì)于訓(xùn)練集

網(wǎng)友評(píng)論