機(jī)器學(xué)習(xí)和優(yōu)化問題
很多機(jī)器學(xué)習(xí)方法可以歸結(jié)為優(yōu)化問題，對于一個參數(shù)模型，比如神經(jīng)網(wǎng)絡(luò)，用來表示的話，訓(xùn)練模型其實就是下面的參數(shù)優(yōu)化問題：
其中L是loss function，比如神經(jīng)網(wǎng)絡(luò)中分類常用的cross-entropy。
CNN學(xué)到了什么？
特征（Representation）。把原始圖像看做一個維度是像素×通道的向量，經(jīng)過各種復(fù)雜的CNN結(jié)構(gòu)，其實只不過成了另一個向量。這個向量所在的空間也許有更好的線性可分性，也許是相似樣本的“距離”更近，原始的數(shù)據(jù)經(jīng)過
