Course 5 類神經網路基礎 Foundations of Neural Networks 授課教師陳士杰

Course 5: 類神經網路基礎 Foundations of Neural Networks 授課教師：陳士杰國立聯合大學資訊管理學系

本章授課內容本章涵蓋以下四個單元：類神經網路導論感知機網路倒傳遞網路實例研究：類神經網路應用於股票投資策略之研究參考資料：葉怡成, 類神經網路模式應用與實作, 儒林出版社. Zurada, Introduction of Artificial Neural Systems, West. 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 2

單元 1. 類神經網路導論本單元內容：什麼是類神經網路（What）類神經網路如何運作（How）類神經網路應用到何處（Where）類神經網路的發展史（When）類神經網路的基本架構國立聯合大學資訊管理學系人智慧課程 (陳士杰) 3

什麼是類神經網路（What）生物觀點：生物神經網路是由巨量的神經細胞（neuron），或稱神經元所組成，神經細胞的形狀與一般的細胞有很大的不同，它包括：神經核（soma）：神經細胞呈核狀的處理機構。軸索（神經軸; axon）：神經細胞呈軸索狀的輸送機構。樹突（神經樹; dendrites）：神經細胞呈樹枝的輸入機構。突觸（神經節; synapse）：神經樹上呈點狀的連結輸出之機構。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 4

人類自古即對解開人類的大腦及如何思考有極大的興趣。早期學者欲透過人腦的結構及運作方式，思考人腦的奧妙人腦：大約有1000億個神經細胞 (neuron)，每個神經細胞約有1000個神經連結 (共約有100萬億根的神經連結) 作用方式: 可傳導化學物質，Two Status：Excitatory (激活 )／Inhibitory (抑制) 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 5

國立聯合大學資訊管理學系人智慧課程 (陳士杰) 6

Spinal motor neuron Hippocampal pyramidal cell Purkinje cell of cerebellum Examples of multipolar cells [Kan 91] 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 7

A Slice of Neurons 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 8

生物學動機 ANN受到生物學的啟發，生物的學習系統是由相互連接的神經元組成的異常複雜的網路。 ANN由一系列簡單的單元相互密集連接構成的，其中每一個單元有一定數量的實值輸入，並產生單一的實數值輸出神經元的活性通常被通向其他神經元的連接激活或抑制最快的神經元轉換時間比計算機慢很多，然而人腦能夠以驚人的速度做出複雜度驚人的決策很多人推測，生物神經系統的訊息處理能力一定得益於對分佈在大量神經元上的訊息表示的高度並行處理國立聯合大學資訊管理學系人智慧課程 (陳士杰) 9

類神經網路：是由許多的人神經細胞(artificial 類神經網路人神經細胞 neuron)所組成，人神經細胞又稱類神經元、類神經元人神經元、處理單元（processing element），人神經元處理單元每一個處理單元的輸出會成為其它許多處理單元的輸入。 θj x 1 x 2 xn netj = f(Ij) f(netj) 輸入(Inputs) 國立聯合大學資訊管理學系 Yj 輸出(Output) 人智慧課程 (陳士杰) 10

處理單元其輸出值與輸入值的關係式，一般可用輸入值的加權乘積和之函數來表示：的加權乘積和 Yj= f（）其中 Y=模仿生物神經元的模型的輸出訊號 f =模仿生物神經元的模型的轉換函數（transfer function），轉換函數是一個用以將從其它處理單元輸入的輸入值之加權乘積和轉換成處理單元輸出值的數學公式。 Wij =模仿生物神經元的模型的神經節強度，又稱連結加權值。連結加權值 Xi =模仿生物神經元的模型的輸入訊號。輸入訊號 θj＝模仿生物神經元的模型的閥值。閥值國立聯合大學資訊管理學系人智慧課程 (陳士杰) 11

著名的類神經網路眾多，主要分為三類：監督式學習網路從問題領域中取得訓練範例（有輸入變數值，也有輸出變數）輸入變數值輸出變數，並從中學習輸入變數與輸出變數之對映規則，以應用於新對映規則的案例（只有輸入變數值，而需推論輸出變數值的應用）如: 倒傳遞網路。無監督式學習網路：無監督式學習網路從問題領域中取得訓練範例（只有輸入變數值），並從中學輸入變數值習範例的聚類規則，以應用於新的案例。聚類規則聯想式學習網路：聯想式學習網路從問題領域中取得訓練範例（狀態變數值），並從中學習範例的記憶規則，以應用於新的案例。記憶規則國立聯合大學資訊管理學系人智慧課程 (陳士杰) 12

Example using ANN model The credit prediction for a customer who applys for loan. <<Input>> 1. Customer’s salary <<Output>> 2. Customer’s house debt 3. Customer’s car debt 4. Customer’s average living cost 5. Customer’s credit history 國立聯合大學資訊管理學系 1. O. K. Qualified for loan ANN Model 2. Sorry, no new loan is available for the loaner. 人智慧課程 (陳士杰) 13

類神經網路如何運作（How）類神經網路的運作過程分成兩個階段：學習過程從範例學習，以調整網路連節加權值的過程。回想過程：回想過程網路依回想演算法，以輸入資料決定網路輸出資料的過程。範例資料有三種：訓練範例：藉此調整網路連結加權值。訓練範例型式訓練範例依所使用的網路模式之不同而異。測試範例：用以評估網路學習成果所使用的範例。測試範例待推案例：網路學習過程完後，可用網路推論待推案待推案例例的結果。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 14

未學習網路 + 訓練範例 + 學習演算法產生已學習網路 + 測試範例 + 回想演算法評估已學習網路 + 待推案例 + 回想演算法推論國立聯合大學資訊管理學系人智慧課程 (陳士杰) 已學習網路 (加權值) 已學習網路 (精度) 待推案例 (推論輸出值) 15

類神經網路應用到何處（Where）監督式學習應用：分類、預測。非監督式學習應用：聚類。聯想式學習應用：雜訊過濾、資料擷取。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 16

類神經網路的發展史（When） 1957年 (電腦發展的初期)：第一種類神經網路模式— 感知機 (Perceptron) 提出。 1960年代中期沒落。本身理論無法突破（ EX：XOR問題）。數位電腦、人智慧的吸引。當時相關技術無法實現「神經電腦」。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 17

80年代中期：類神經網路的研究復興，而在短短數年之內蔚為風潮。類神經網路在理論的建立與模式的開發上有了突破，最明顯的突破包括：倒傳遞網路（Back-propagation network）霍普菲爾網路（ Hopfield neural network， HNN）解決電腦科學與人智慧的難題，（EX：樣本識別、機器學習）。電子、光學等技術進展：提供實現「神經電腦」可能電子、光學神經電腦性（EX：基於VLSI的神經電腦與光神經電腦的誕生）從現代生物學、認知學、心裡學對生物神經網路的瞭解，提供了發展新的類神經網路模式的啟示。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 18

類神經網路的基本架構輸入層: 輸入層輸入訊息。 X 1 i 隱藏層 Wi i 輸出層： i 輸出訊息。 j Y 2 k X 1 Y 1 j Wi k Y 3 j 隱藏層：提供類神經網路表現處理單元間的交互作用與問題的內互作用在結構的能力。在結構 X 1 k l 處理單元國立聯合大學資訊管理學系 k l 層人智慧課程 (陳士杰) 19

處理單元：類神經網路基本單位作用可用三個函數來說明：集成函數作用函數轉換函數 x 1 x 2 xn θj netj = f(Ij) f(netj) 輸入(Inputs) 國立聯合大學資訊管理學系 Yj 輸出(Output) 人智慧課程 (陳士杰) 20

集成函數 (Summation function)：集成函數是用 function) 以將從其它處理單元輸出、透過網路連結傳來的訊加以綜合。綜合作用函數 (Activity function)：作用函數的目的 function) 是將集成函數值與處理單元目前的狀態加以綜合。加以綜合常用的作用函數包括：直接使用集成函數輸出加入前次集成函數輸出集成函數加入前次作用函數輸出作用函數國立聯合大學資訊管理學系人智慧課程 (陳士杰) 21

轉換函數 (Transfer function)：轉換函數的目的 function) 是將作用函數輸出值以轉換成處理單元的輸出。處理單元的輸出常用的有：硬限函數 Yj = 1 if netj >0 = 0 if netj 0 線性函數 Yj = netj if netj >0 =0 if netj 0 非線性函數國立聯合大學資訊管理學系人智慧課程 (陳士杰) 22

層：若干個具相同作用的處理單元集合成。具相同作用的處理單元層的三種作用：正規化輸出競爭化輸出 0 1 0 0 0 競爭化學習 0 1 0 0 0 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 23

單元2. 感知機網路感知機 (Perceptron) 是最古老的類神經網模式。人智慧的創始人之一的M. L. Minsky以專書討論並指出無隱藏層的感知機模式無法解決互斥或 (exclusive OR, XOR) 問題，就算勉強加入隱藏問題層，卻苦無學習演算法可以決定適當的連結加權值，而需以人為方式巧妙地設定其值。這個問題一直到 1985年倒傳遞網路發明後才獲得解決。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 24

網路架構感知機網路架構包括：輸入層 X 1 輸出層 Wj i 輸入層：輸入層 Y 1 用以表現網路的輸入變數，其處理單元數目依問題而定。使用線性轉換函數，即f(x)=x。線性轉換函數 f(x)=x 有些資料不把此層視為一層，但在此我們將其視為一層。 X 2 輸出層：輸出層 Xi 用以表現網路的輸出變數，其處理單元數目依問題而定。 Yj 國立聯合大學資訊管理學系使用非線性轉換函數。非線性轉換函數人智慧課程 (陳士杰) 25

感知機最常用的非線性轉換函數為階梯函數 (step function)。 function) 1. 0 0. 0 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 26

網路演算法類神經網路的運作模式有兩種：學習過程 (Learning) 網路從範例中學習，以調整網路連結加權值的過程。範例調整網路連結加權值回想過程 (Recalling) 網路由輸入資料決定輸出資料結果的過程。輸入資料輸出資料結果國立聯合大學資訊管理學系人智慧課程 (陳士杰) 27

學習過程 (Learning) 設定網路參數輸入層 X 1 輸出層 Wj i Y 1 X 2 Xi 國立聯合大學資訊管理學系 Yj 人智慧課程 (陳士杰) 28

輸入層 X 1 輸出層 Wj i Y 1 X 2 Xi 以均勻隨機亂數設定加權均勻隨機亂數值矩陣W，與閥值向量θ的初始值。初始值輸入一個訓練範例的輸入向量X，與目標輸出向量T。計算推論輸出向量Y： Yj 求Output 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 29

計算差距量δ 輸入層 X 1 輸出層 Wj i Y 1 計算輸出層差距量δ (推論值 Y與實際值T的差距) X 2 計算加權值矩陣修正量ΔW 及閥值向量修正量Δθ Xi Yj 以調整w與θ 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 30

更新加權值矩陣W及閥值向量θ 不斷加入訓練資料並重覆第 3步驟到第 7步驟，直步驟到收歛或執行一定數目的學習循環。收歛執行一定數目的學習循環國立聯合大學資訊管理學系人智慧課程 (陳士杰) 31

回想過程設定網路參數。讀入加權值矩陣W，與閥值向量θ。輸入一個測試範例的輸入向量X。測試範例計算推論輸出向量Y。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 32

網路手算範例 (以OR來討論) 已知一個OR問題的範例數值如下：範例輸入值 1 輸入值 2 輸出值 T 1 2 3 0 0 1 1 4 1 1 1 X 2 f 國立聯合大學資訊管理學系 X 1 人智慧課程 (陳士杰) 33

網路架構初始加權值與閥值如下： Y W 13=1 W 23= 0. 5 3 Θ = 0. 5 1 X 1 2 X 2 網路採用批次學習，學習速率η = 0. 1。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 34

Let W 13=1, W 23=0. 5, Θ=0. 5 Let learning rate η=0. 1 The initial net function is: net = W 13 • X 1+ W 23 • X 2 -Θ i. e. net = 1 • X 11 + 0. 5 • X 21 - 0. 5 Feed the input pattern into network one by one (0, 0), net= -0. 5, Y=0, (T-Y)= 0 O. K. (0, 1), net= 0, (T-Y)=1 - Ø=1 Need to update weight (1, 0), net= 0. 5, Y=1, (T-Y)= 0 O. K. (1, 1), net= 1, (T-Y)= 0 O. K. Y= 0, Y=1, update weights for pattern (0, 1) ΔW 13=(0. 1)(1)( 0)= 0, W 13= W 13+ΔW 13=1 ΔW 23=(0, 1)(1)( 1)= 0. 1, W 23=0. 5+0. 1=0. 6 ΔΘ=-(0. 1)(1)=-0. 1 Θ=0. 5 -0. 1=0. 4 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 35

Applying new weights to the net function: net=1 • X 1+0. 6 • X 2 -0. 4 Verify the pattern (0, 1) to see if it satisfies the expected output. (0, 1), net= 0. 2, Y= 1, (T-Y)=Ø O. K. Feed the next input pattern, again, one by one (1, 0), net= 0. 6, Y=1, (T-Y)= Ø O. K. (1, 1), net= 1. 2, Y=1, (T-Y)= Ø O. K. Since the first pattern(0, 0) has not been testified with the new weights, feed again. (0, 0), net=-0. 4, Y=Ø, δ= Ø O. K. Now all the patterns are satisfied. Hence, the network is successfully trained for OR patterns. We get the final network is : net=1 • X 1+0. 6 • X 2 -0. 4 (This is not the only solution, other solutions are possible. ) 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 36

The trained network is formed as follow: X１１ X２ 0. 6 Ｙ f Θ=0. 4 • Recall process: Once the network is trained, we can apply any two element vectors as a pattern and feed the pattern into the network for recognition. For example, we can feed (1, 0) into to the network (1, 0), net= 0. 6, Y=1 Therefore, this pattern is recognized as 1. 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 37

Perceptron Learning of the Logical AND Function 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 38

Perceptron Learning of the Logical OR Function 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 39

Perceptron Attempt at Learning the Logical XOR Function The one-layer network cannot solve the XOR problem…. . the network goes to the infinite loop 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 40

單元3. 倒傳遞神經網路模式是目前類神經網路學習模式中最具代表性，應用最普遍的模式。倒傳遞網路屬於監督式學習網路，因而適合診斷、監督式預測等應用。熱中子機場防爆偵測系統股票市場預測期貨交易信用卡盜用判斷債券分級國立聯合大學資訊管理學系人智慧課程 (陳士杰) 41

網路架構倒傳遞類神網路架構包括：輸入層用以表現網路的輸入變數，其處理單元數目依問題而定。使用線性轉換函數，即f(x)=x。有些資料不把此層視為一層，線性轉換函數但在此我們將其視為一層。隱藏層：隱藏層用以表現輸入處理單元間的交互影響，其處理單元數目並無輸入處理單元間的交互影響標準方法可以決定，經常需以試驗方式決定其最佳數目。試驗使用非線性轉換函數。非線性轉換函數網路可以不只一層隱藏層，也可以沒有隱藏層。不只一層隱藏層輸出層：輸出層用以表現網路的輸出變數，其處理單元數目依問題而定。使用非線性轉換函數。非線性轉換函數國立聯合大學資訊管理學系人智慧課程 (陳士杰) 42

輸入層 X 1 i 隱藏層 Wi i 輸出層 i Wi k X 1 j i 輸入層：表示輸入變數 Y 1 j j k X 1 k l Y 2 Y 3 k 隱藏層：表示輸入處理單元間的交互影響。輸出層：表示輸出變數 l 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 43

倒傳遞網路最常用的非線性轉換函數為雙彎曲函數 (sigmoid function)。這種函數當自變數趨於正負無限大時，函數值趨正負無限大於常數，其函數值域在﹝ 0, 1﹞ 之間。 1. 0 0. 5 0. 0 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 44

網路演算法類神經網路的運作模式有兩種：學習過程 (Learning) 網路從範例中學習，以調整網路連結加權值的過程。回想過程 (Recalling) 網路由輸入資料決定輸出資料結果的過程。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 45

學習過程設定網路參數輸入層 x X 1 i 隱藏層 h Wi i 輸出層 y i X 1 j k l 國立聯合大學資訊管理學系 Y 1 Y 2 k X 1 i j Wi k Y 3 j k l 人智慧課程 (陳士杰) 46

以均勻隨機亂數設定加權值矩陣W_xh及W_hy， W_xh W_hy 與閥值向量θ_h及θ_y。 _h _y W_xh表示由輸入層(x)到隱藏層(h)間的各個加權值所構成的矩陣。 W_hy表示由隱藏層(h)到輸出層(y)間的各個加權值所構成的矩陣。輸入一個訓練範例的輸入向量X，與目標輸出向量T。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 47

計算推論輸出向量Y：輸入層 x X 1 i 計算隱藏層輸出向量H 隱藏層 h i 輸出層 y i j X 1 j k l Y 2 k X 1 Y 3 j 計算推論輸出向量Y k l 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 48

計算差距量δ 輸入層 x X 1 i 計算輸出層差距量δ (推論值 Y與實際值T的差距) 隱藏層 h i 輸出層 y i j X 1 j k l Y 2 k X 1 Y 3 j k 計算隱藏層差距量δ (由輸出層倒推回來) l 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 49

計算加權值矩陣修正量ΔW及閥值向量修正量Δθ 計算輸出層加權值矩陣修正量ΔW_hy及閥值向量修正量Δθ_y 計算隱藏層加權值矩陣修正量ΔW_xh及閥值向量修正量Δθ_h 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 50

更新加權值矩陣W及閥值向量θ 更新輸出層加權值矩陣W_hy及閥值向量θ_y 更新輸出層加權值矩陣W_xh及閥值向量θ_h 重覆第 3步驟到第 7步驟，直到收歛或執行一定數目的學習循環。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 51

回想過程設定網路參數。讀入加權值矩陣W_xh及W_hy，與閥值向量θ_h及θ_y。輸入一個測試範例的輸入向量X。計算推論輸出向量Y。計算隱藏層輸出向量H 計算推論輸出向量Y 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 52

網路手算範例 (以XOR來討論) 已知一個XOR問題的範例數值如下：範例輸入值 1 輸入值 2 輸出值 T 1 2 3 -1 -1 0 1 1 4 1 1 0 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 53

網路架構初始加權值與閥值如下： W 13=1 Y 5 H 1 3 1 X 1 H 2 4 2 θ 3=1 W 23= -1 W 14= -1 W 24=1 W 35=1 θ 4=1 θ 5=1 W 45=1 X 2 網路採用批次學習，學習速率η = 10。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 54

以第一個範例 X 1= -1, X 2= -1, T=0來討論。國立聯合大學資訊管理學系人智慧課程 (陳士杰) 55

國立聯合大學資訊管理學系人智慧課程 (陳士杰) 56

以下為第一次修正後的權重值. X 1 1. 18 0. 754 0. 82 X 2 1. 18 國立聯合大學資訊管理學系 0. 754 人智慧課程 (陳士杰) 1. 915 57

國立聯合大學資訊管理學系人智慧課程 (陳士杰) 58

國立聯合大學資訊管理學系人智慧課程 (陳士杰) 59

Stock Market Prediction A nice application for Neural Network is the prediction of the stock market. Our example will examine the Dow Jones Industrial Index (DJI) in 1999. 國立聯合大學資訊管理學系人智慧課程 (陳士杰) 60

國立聯合大學資訊管理學系人智慧課程 (陳士杰) 61

國立聯合大學資訊管理學系人智慧課程 (陳士杰) 62

國立聯合大學資訊管理學系人智慧課程 (陳士杰) 63

Course 5 類神經網路基礎 Foundations of Neural Networks 授課教師 陳士杰

Course 5 類神經網路基礎 Foundations of Neural Networks 授課教師陳士杰