生物學(xué)上具體的專業(yè)術(shù)語我們這里不展開描述，我們總結(jié)一下神經(jīng)元結(jié)構(gòu)的特點：
每個神經(jīng)元都是一個多輸入單輸出的信息處理單元；
神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；
神經(jīng)元具有空間整合特性和閾值特性；
神經(jīng)元輸入與輸出間有固定的時滯，主要取決于突觸延擱。
由此兩位大牛提出了神經(jīng)網(wǎng)絡(luò)的早期M-P模型，如下圖：
該模型的基本思想很簡單，就是仿照神經(jīng)元接受多個輸入信號，由于突觸的性質(zhì)和突觸強度不同，所以對神經(jīng)元的影響程度不同，我們加上了權(quán)重的概念，其正負模擬了神經(jīng)元中的興奮和抑制作用，最后所有信號累加整合，其值為：
輸入信號有了，神經(jīng)元是否被激活，要看輸入信號是否超過了某一閾值電位，如果被激活神經(jīng)元輸出脈沖，否則神經(jīng)元不會輸出信號，其過程如下函數(shù)：
當然這里我們也可以寫成矩陣的形式
類似神經(jīng)元結(jié)構(gòu)的特點，經(jīng)典的M-P模型的特點可以總結(jié)如下：
每個神經(jīng)元都是一個多輸入單輸出的信息處理單元；
神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；
神經(jīng)元具有空間整合特性和閾值特性；
神經(jīng)元輸入與輸出間有固定的時滯，主要取決于突觸延擱；
忽略時間整合作用和不應(yīng)期；
神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。（神經(jīng)網(wǎng)絡(luò)中權(quán)重在訓(xùn)練結(jié)束后是固定的）
結(jié)合兩個公式來看這幾個特點：對于特點1，我們的公式有多個x輸入信號，但我們的輸出信號只有一個o；權(quán)重的正負體現(xiàn)了特點2中輸入分興奮和抑制；對于第3個特點，我們第2個公式中只有當輸入信號的累加和超出電位閾值才會有輸出；另外我們的公式只考慮了所有輸入信號的整合，并沒有去考慮時間整合（就是不管你信號早到晚到，只要到了都是好信號），體現(xiàn)了特性4和5。
隨著M-P模型的提出，神經(jīng)網(wǎng)絡(luò)的研究有三次興起，最近的一次就是隨著卷積神經(jīng)網(wǎng)絡(luò)提出的深度學(xué)習的火熱。
早期神經(jīng)網(wǎng)絡(luò)
M-P模型很簡單，僅僅是一種單個神經(jīng)元上的建模，并沒有形成網(wǎng)絡(luò)，沒法去完成一些特定的任務(wù)。由此人們提出了神經(jīng)網(wǎng)絡(luò)的概念，而早期的研究，由于當時硬件水平和計算條件的限制，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般比較簡單。
兩層神經(jīng)網(wǎng)絡(luò)
由此1958年，計算科學(xué)家Rosenblatt提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。他給它起了一個名字“感知器”（Perceptron）
其結(jié)構(gòu)如下圖：
這種簡單的單層神經(jīng)網(wǎng)絡(luò)有點類似于邏輯回歸，通過簡單的權(quán)重訓(xùn)練，能夠處理簡單的線性分類問題，類似下圖：
而對于非線性的分類問題（如經(jīng)典的異或問題）卻無能為力，后來研究人員也發(fā)現(xiàn)了這一點，神經(jīng)網(wǎng)絡(luò)研究遍進入了低谷期（好傷心TT）
