原理
反向傳播在神經(jīng)網(wǎng)絡(luò)中非常重要,是現(xiàn)在熱門的深度學(xué)習(xí)的基礎(chǔ).所謂的反向傳播,本質(zhì)上是一種在一個鄰域內(nèi)求多元函數(shù)局部極大值(極小值)的方法.以求極大值為例,反向傳播過程是先求出多元函數(shù)在某一點的梯度.然后沿梯度方向,更新各個自變量,使函數(shù)值變大.重復(fù)這個過程,就可以得到函數(shù)的局部極大值.
解釋
下面是當(dāng)年高等數(shù)學(xué)書上的一個例題.看看會不會做例4，例5.如果不會做請回去翻翻高等數(shù)學(xué)的書.一定要看明白梯度的含義和計算方法.梯度是神經(jīng)網(wǎng)絡(luò)要用到的最基本也是最重要的概念.另外簡單的復(fù)合函數(shù)求偏導(dǎo)也要確保會求,求梯度要用到.
再直觀地解釋下梯度的含義.首先,梯度是一個向量,這個向量的方向是函數(shù)增加最快的方向.
延伸閱讀
學(xué)習(xí)是年輕人改變自己的最好方式