在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)模型與前向反向傳播算法中，我們總結(jié)了對(duì)RNN模型做了總結(jié)。由于RNN也有梯度消失的問題，因此很難處理長序列的數(shù)據(jù)，大牛們對(duì)RNN做了改進(jìn)，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常規(guī)RNN的梯度消失，因此在工業(yè)界得到了廣泛的應(yīng)用。下面我們就對(duì)LSTM模型做一個(gè)總結(jié)。
1. 從RNN到LSTM
在RNN模型里，我們講到了RNN具有如下的結(jié)構(gòu)，每個(gè)序列索引位置t都有一個(gè)隱藏狀態(tài)
網(wǎng)友評(píng)論
