原理
反向傳播在神經網絡中非常重要,是現在熱門的深度學習的基礎.所謂的反向傳播,本質上是一種在一個鄰域內求多元函數局部極大值(極小值)的方法.以求極大值為例,反向傳播過程是先求出多元函數在某一點的梯度.然后沿梯度方向,更新各個自變量,使函數值變大.重復這個過程,就可以得到函數的局部極大值.
解釋
下面是當年高等數學書上的一個例題.看看會不會做例4，例5.如果不會做請回去翻翻高等數學的書.一定要看明白梯度的含義和計算方法.梯度是神經網絡要用到的最基本也是最重要的概念.另外簡單的復合函數求偏導也要確保會求,求梯度要用到.
再直觀地解釋下梯度的含義.首先,梯度是一個向量,這個向量的方向是函數增加最快的方向.
網友評論
