機器學習和優(yōu)化問題

很多機器學習方法可以歸結為優(yōu)化問題,對于一個參數(shù)模型,比如神經(jīng)網(wǎng)絡,用來表示的話,訓練模型其實就是下面的參數(shù)優(yōu)化問題:

其中L是loss function,比如神經(jīng)網(wǎng)絡中分類常用的cross-entropy。

CNN學到了什么?

特征(Representation)。把原始圖像看做一個維度是像素×通道的向量,經(jīng)過各種復雜的CNN結構,其實只不過成了另一個向量。這個向量所在的空間也許有更好的線性可分性,也許是相似樣本的“距離”更近,原始的數(shù)據(jù)經(jīng)過