這系列文章不是為了去研究那些數(shù)學(xué)公式怎么推導(dǎo),而是為了能將機(jī)器學(xué)習(xí)的思想快速用代碼實現(xiàn)。最主要是梳理一下自己的想法。

感知機(jī)

感知機(jī),就是接受每個感知元(神經(jīng)元)傳輸過來的數(shù)據(jù),當(dāng)數(shù)據(jù)到達(dá)某個閥值的時候就會產(chǎn)生對應(yīng)的行為
如下圖,對應(yīng)每個感知元有一個對應(yīng)的權(quán)重,當(dāng)數(shù)據(jù)到達(dá)閥值u的時候就會執(zhí)行對應(yīng)的行為。 
大學(xué)生就業(yè)培訓(xùn),高中生培訓(xùn),在職人員轉(zhuǎn)行培訓(xùn),企業(yè)團(tuán)訓(xùn)

u = w0 + w1x1 + w2x2 +......wnxn

對應(yīng)到垃圾郵件處理上,當(dāng)u > 0時就是正常郵件。相反則為垃圾郵件 
對于這樣的模型就可以稱之為簡單的感知機(jī)。也就是一個神經(jīng)網(wǎng)絡(luò)的基本單位。

權(quán)重向量的更新 
上面所提到的w1,w2等就是就是對應(yīng)每個是否是垃圾郵件的衡量標(biāo)準(zhǔn),而x1,x2...就是郵件中被監(jiān)測的詞組的數(shù)目
比如x1和x2相同的時候,w1和w2的絕對值較大的一方對結(jié)果,也就是u的影響更大。所以,我們也把w1,w2....稱之為x1,x2..的權(quán)重值
向量大學(xué)生就業(yè)培訓(xùn),高中生培訓(xùn),在職人員轉(zhuǎn)行培訓(xùn),企業(yè)團(tuán)訓(xùn)即為權(quán)重向量

根據(jù)訓(xùn)練數(shù)據(jù)中的期待結(jié)果和預(yù)測結(jié)果不斷的修改權(quán)重即可。那么具體到項目中應(yīng)該怎么修改w呢

1. 隨機(jī)為w1,w2,...wn設(shè)置一個值
2. 不斷重復(fù)以下步驟 
  * 輸入訓(xùn)練數(shù)據(jù),如果結(jié)果不正確就進(jìn)行修改
  * 當(dāng)所有的訓(xùn)練數(shù)據(jù)的結(jié)果都正確時就結(jié)束運(yùn)算
思想很簡單,那么[不正確就修改]這一句話,在簡單的感知機(jī)中能夠很簡單的修改,那么在深度神經(jīng)網(wǎng)絡(luò)中的時候該怎么計算呢

梯度下降法
首先介紹一個定義[誤差函數(shù)(即損失函數(shù))]E,即輸出結(jié)果和期待結(jié)果的差值
為了方便以后的計算這個定義又可以改為變化根據(jù)向量w的變化誤差函數(shù)是否在朝著最小變化的方向遞進(jìn)
w和誤差函數(shù)的關(guān)系如下圖所示 
大學(xué)生就業(yè)培訓(xùn),高中生培訓(xùn),在職人員轉(zhuǎn)行培訓(xùn),企業(yè)團(tuán)訓(xùn)
曲線最下方的w的值即為一次計算所期望的值,如果仔細(xì)分析我們可以知道這種計算就是微分計算
而這種變化趨勢就是微分計算的值 
大學(xué)生就業(yè)培訓(xùn),高中生培訓(xùn),在職人員轉(zhuǎn)行培訓(xùn),企業(yè)團(tuán)訓(xùn)
那么wi的變化過程即為 
大學(xué)生就業(yè)培訓(xùn),高中生培訓(xùn),在職人員轉(zhuǎn)行培訓(xùn),企業(yè)團(tuán)訓(xùn)
簡單的理解就是當(dāng)變化趨勢為負(fù)時wi朝正直方向移動,反之亦然.但是當(dāng)變化趨勢很大的時候wi的變化就會很大,
而變化趨勢很小的時候wi的變化就又會很小。這樣的計算會讓整個過程很難收斂,因此我們會設(shè)置一個比較小的正數(shù)參數(shù)
來參與計算。 
大學(xué)生就業(yè)培訓(xùn),高中生培訓(xùn),在職人員轉(zhuǎn)行培訓(xùn),企業(yè)團(tuán)訓(xùn)

延伸閱讀

學(xué)習(xí)是年輕人改變自己的最好方式-Java培訓(xùn),做最負(fù)責(zé)任的教育,學(xué)習(xí)改變命運(yùn),軟件學(xué)習(xí),再就業(yè),大學(xué)生如何就業(yè),幫大學(xué)生找到好工作,lphotoshop培訓(xùn),電腦培訓(xùn),電腦維修培訓(xùn),移動軟件開發(fā)培訓(xùn),網(wǎng)站設(shè)計培訓(xùn),網(wǎng)站建設(shè)培訓(xùn)學(xué)習(xí)是年輕人改變自己的最好方式