0. 引言1. 感知器及激活函數2. 代價函數(loss function)3. 用梯度下降法來學習-Learning with gradient descent4. 用反向傳播調整神經網絡中逐層所有神經元的超參數5. 過擬合問題6. IMPLEMENTING A NEURAL NETWORK FROM SCRATCH IN PYTHON – AN INTRODUCTION
0. 引言
0x1: 神經網絡的分層神經元意味著什么
為了解釋這個問題，我們先從一個我們熟悉的場景開始說起，電子電路的設計
如上圖所示，在實踐中，在解決線路設計問題(或者大多數其他算法問題)時，我們通常先考慮如何解決子問題，然后逐步地集成這些子問題的解。換句話說，我們通過多層的抽象來獲得最終的解答，回到上圖的電路，我們可以看到，不論多么復雜的電路功能，在最底層的底層，都是由最簡單的"與、或、非"門通過一定的邏輯關系組成
這就很自然地讓我么聯想到深度神經網絡的一張膾炙人口的架構圖
深度神經網絡中間的隱層可以理解為是一種逐層抽象封裝的思想，這么說可能并沒有嚴格的理論依據，但是卻十分符合我自己直覺上的理解，例如，如果我們在進行視覺模式識別
1. 第一層的神經元可能學會識別邊2.
