Скачать презентацию Course 5 類神經網路基礎 Foundations of Neural Networks 授課教師 陳士杰 Скачать презентацию Course 5 類神經網路基礎 Foundations of Neural Networks 授課教師 陳士杰

ff4163adee720de4304dc3c16e390ecc.ppt

  • Количество слайдов: 63

Course 5: 類神經網路基礎 Foundations of Neural Networks 授課教師:陳士杰 國立聯合大學 資訊管理學系 Course 5: 類神經網路基礎 Foundations of Neural Networks 授課教師:陳士杰 國立聯合大學 資訊管理學系

本章授課內容 本章涵蓋以下四個單元: 類神經網路導論 感知機網路 倒傳遞網路 實例研究:類神經網路應用於股票投資策略之研究 參考資料: 葉怡成, 類神經網路模式應用與實作, 儒林出版社. Zurada, Introduction of Artificial 本章授課內容 本章涵蓋以下四個單元: 類神經網路導論 感知機網路 倒傳遞網路 實例研究:類神經網路應用於股票投資策略之研究 參考資料: 葉怡成, 類神經網路模式應用與實作, 儒林出版社. Zurada, Introduction of Artificial Neural Systems, West. 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 2

單元 1. 類神經網路導論 本單元內容: 什麼是類神經網路(What) 類神經網路如何運作(How) 類神經網路應用到何處(Where) 類神經網路的發展史(When) 類神經網路的基本架構 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 單元 1. 類神經網路導論 本單元內容: 什麼是類神經網路(What) 類神經網路如何運作(How) 類神經網路應用到何處(Where) 類神經網路的發展史(When) 類神經網路的基本架構 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 3

什麼是類神經網路(What) 生物觀點: 生物神經網路是由巨量的神經 細胞(neuron),或稱神經元 所組成,神經細胞的形狀與一 般的細胞有很大的不同,它包 括: 神經核(soma):神經細胞 呈核狀的處理機構。 軸索(神經軸; axon):神經 細胞呈軸索狀的輸送機構。 樹突(神經樹; dendrites): 什麼是類神經網路(What) 生物觀點: 生物神經網路是由巨量的神經 細胞(neuron),或稱神經元 所組成,神經細胞的形狀與一 般的細胞有很大的不同,它包 括: 神經核(soma):神經細胞 呈核狀的處理機構。 軸索(神經軸; axon):神經 細胞呈軸索狀的輸送機構。 樹突(神經樹; dendrites): 神經細胞呈樹枝的輸入機構。 突觸(神經節; synapse): 神經樹上呈點狀的連結輸出之 機構。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 4

人類自古即對解開人類的大腦及如何思考有極大的興趣。 早期學者欲透過人腦的結構及運作方式,思考人腦的奧妙 人腦:大約有1000億個神經細胞 (neuron),每個神經細胞 約有1000個神經連結 (共約有100萬億根的神經連結) 作用方式: 可傳導化學物質,Two Status:Excitatory (激活 )/Inhibitory (抑制) 國立聯合大學 資訊管理學系 人類自古即對解開人類的大腦及如何思考有極大的興趣。 早期學者欲透過人腦的結構及運作方式,思考人腦的奧妙 人腦:大約有1000億個神經細胞 (neuron),每個神經細胞 約有1000個神經連結 (共約有100萬億根的神經連結) 作用方式: 可傳導化學物質,Two Status:Excitatory (激活 )/Inhibitory (抑制) 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 5

國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 6 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 6

Spinal motor neuron Hippocampal pyramidal cell Purkinje cell of cerebellum Examples of multipolar cells Spinal motor neuron Hippocampal pyramidal cell Purkinje cell of cerebellum Examples of multipolar cells [Kan 91] 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 7

A Slice of Neurons 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 8 A Slice of Neurons 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 8

生物學動機 ANN受到生物學的啟發,生物的學習系統是由相互連接 的神經元組成的異常複雜的網路。 ANN由一系列簡單的單元相互密集連接構成的,其中每 一個單元有一定數量的實值輸入,並產生單一的實數值 輸出 神經元的活性通常被通向其他神經元的連接激活或抑制 最快的神經元轉換時間比計算機慢很多,然而人腦能夠 以驚人的速度做出複雜度驚人的決策 很多人推測,生物神經系統的訊息處理能力一定得益於 對分佈在大量神經元上的訊息表示的高度並行處理 國立聯合大學 資訊管理學系 人 生物學動機 ANN受到生物學的啟發,生物的學習系統是由相互連接 的神經元組成的異常複雜的網路。 ANN由一系列簡單的單元相互密集連接構成的,其中每 一個單元有一定數量的實值輸入,並產生單一的實數值 輸出 神經元的活性通常被通向其他神經元的連接激活或抑制 最快的神經元轉換時間比計算機慢很多,然而人腦能夠 以驚人的速度做出複雜度驚人的決策 很多人推測,生物神經系統的訊息處理能力一定得益於 對分佈在大量神經元上的訊息表示的高度並行處理 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 9

類神經網路:是由許多的人 神經細胞(artificial 類神經網路 人 神經細胞 neuron)所組成,人 神經細胞又稱類神經元、 類神經元 人 神經元、處理單元(processing element), 人 神經元 處理單元 類神經網路:是由許多的人 神經細胞(artificial 類神經網路 人 神經細胞 neuron)所組成,人 神經細胞又稱類神經元、 類神經元 人 神經元、處理單元(processing element), 人 神經元 處理單元 每一個處理單元的輸出會成為其它許多處理單元 的輸入。 θj x 1 x 2 xn netj = f(Ij) f(netj) 輸入(Inputs) 國立聯合大學 資訊管理學系 Yj 輸出(Output) 人 智慧課程 (陳士杰) 10

處理單元其輸出值與輸入值的關係式,一般可用輸入值 的加權乘積和之函數來表示: 的加權乘積和 Yj= f( ) 其中 Y=模仿生物神經元的模型的輸出訊號 f =模仿生物神經元的模型的轉換函數(transfer function), 轉換函數 是一個用以將從其它處理單元輸入的輸入值之加權乘積 和轉換成處理單元輸出值的數學公式。 處理單元其輸出值與輸入值的關係式,一般可用輸入值 的加權乘積和之函數來表示: 的加權乘積和 Yj= f( ) 其中 Y=模仿生物神經元的模型的輸出訊號 f =模仿生物神經元的模型的轉換函數(transfer function), 轉換函數 是一個用以將從其它處理單元輸入的輸入值之加權乘積 和轉換成處理單元輸出值的數學公式。 Wij =模仿生物神經元的模型的神經節強度,又稱連結加權值。 連結加權值 Xi =模仿生物神經元的模型的輸入訊號。 輸入訊號 θj=模仿生物神經元的模型的閥值。 閥值 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 11

著名的類神經網路眾多,主要分為三類: 監督式學習網路 從問題領域中取得訓練範例(有輸入變數值,也有輸出變數) 輸入變數值 輸出變數 ,並從中學習輸入變數與輸出變數之對映規則,以應用於新 對映規則 的案例(只有輸入變數值,而需推論輸出變數值的應用)如: 倒傳遞網路。 無監督式學習網路: 無監督式學習網路 從問題領域中取得訓練範例(只有輸入變數值),並從中學 輸入變數值 習範例的聚類規則,以應用於新的案例。 著名的類神經網路眾多,主要分為三類: 監督式學習網路 從問題領域中取得訓練範例(有輸入變數值,也有輸出變數) 輸入變數值 輸出變數 ,並從中學習輸入變數與輸出變數之對映規則,以應用於新 對映規則 的案例(只有輸入變數值,而需推論輸出變數值的應用)如: 倒傳遞網路。 無監督式學習網路: 無監督式學習網路 從問題領域中取得訓練範例(只有輸入變數值),並從中學 輸入變數值 習範例的聚類規則,以應用於新的案例。 聚類規則 聯想式學習網路: 聯想式學習網路 從問題領域中取得訓練範例(狀態變數值),並從中學習範 例的記憶規則,以應用於新的案例。 記憶規則 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 12

Example using ANN model The credit prediction for a customer who applys for loan. Example using ANN model The credit prediction for a customer who applys for loan. <> 1. Customer’s salary <> 2. Customer’s house debt 3. Customer’s car debt 4. Customer’s average living cost 5. Customer’s credit history 國立聯合大學 資訊管理學系 1. O. K. Qualified for loan ANN Model 2. Sorry, no new loan is available for the loaner. 人 智慧課程 (陳士杰) 13

類神經網路如何運作(How) 類神經網路的運作過程分成兩個階段: 學習過程 從範例學習,以調整網路連節加權值的過程 。 回想過程: 回想過程 網路依回想演算法,以輸入資料決定網路輸出資料的過程。 範例資料有三種: 訓練範例:藉此調整網路連結加權值。訓練範例型式 訓練範例 依所使用的網路模式之不同而異。 測試範例:用以評估網路學習成果所使用的範例。 測試範例 類神經網路如何運作(How) 類神經網路的運作過程分成兩個階段: 學習過程 從範例學習,以調整網路連節加權值的過程 。 回想過程: 回想過程 網路依回想演算法,以輸入資料決定網路輸出資料的過程。 範例資料有三種: 訓練範例:藉此調整網路連結加權值。訓練範例型式 訓練範例 依所使用的網路模式之不同而異。 測試範例:用以評估網路學習成果所使用的範例。 測試範例 待推案例:網路學習過程完後,可用網路推論待推案 待推案例 例的結果。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 14

未學習網路 + 訓練範例 + 學習演算法 產生 已學習網路 + 測試範例 + 回想演算法 評估 已學習網路 + 未學習網路 + 訓練範例 + 學習演算法 產生 已學習網路 + 測試範例 + 回想演算法 評估 已學習網路 + 待推案例 + 回想演算法 推論 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 已學習網路 (加權值) 已學習網路 (精度) 待推案例 (推論輸出值) 15

類神經網路應用到何處(Where) 監督式學習應用:分類、預測。 非監督式學習應用:聚類。 聯想式學習應用:雜訊過濾、資料擷取。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 16 類神經網路應用到何處(Where) 監督式學習應用:分類、預測。 非監督式學習應用:聚類。 聯想式學習應用:雜訊過濾、資料擷取。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 16

類神經網路的發展史(When) 1957年 (電腦發展的初期):第一種類神經網路模 式— 感知機 (Perceptron) 提出。 1960年代中期沒落。 本身理論無法突破( EX:XOR問題)。 數位電腦、人 智慧的吸引。 當時相關技術無法實現「神經電腦」。 國立聯合大學 類神經網路的發展史(When) 1957年 (電腦發展的初期):第一種類神經網路模 式— 感知機 (Perceptron) 提出。 1960年代中期沒落。 本身理論無法突破( EX:XOR問題)。 數位電腦、人 智慧的吸引。 當時相關技術無法實現「神經電腦」。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 17

80年代中期:類神經網路的研究復興,而在短短 數年之內蔚為風潮。 類神經網路在理論的建立與模式的開發上有了突破, 最明顯的突破包括: 倒傳遞網路(Back-propagation network) 霍普菲爾網路( Hopfield neural network, HNN) 解決電腦科學與人 智慧的難題,(EX:樣本識別、 機器學習)。 80年代中期:類神經網路的研究復興,而在短短 數年之內蔚為風潮。 類神經網路在理論的建立與模式的開發上有了突破, 最明顯的突破包括: 倒傳遞網路(Back-propagation network) 霍普菲爾網路( Hopfield neural network, HNN) 解決電腦科學與人 智慧的難題,(EX:樣本識別、 機器學習)。 電子、光學等技術進展:提供實現「神經電腦」可能 電子、光學 神經電腦 性(EX:基於VLSI的神經電腦與光神經電腦的誕生) 從現代生物學、認知學、心裡學對生物神經網路的瞭 解,提供了發展新的類神經網路模式的啟示。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 18

類神經網路的基本架構 輸入層: 輸入層 輸入訊息。 X 1 i 隱藏層 Wi i 輸出層: i 輸出訊息。 j 類神經網路的基本架構 輸入層: 輸入層 輸入訊息。 X 1 i 隱藏層 Wi i 輸出層: i 輸出訊息。 j Y 2 k X 1 Y 1 j Wi k Y 3 j 隱藏層: 提供類神經網路表 現處理單元間的交 互作用與問題的內 互作用 在結構的能力。 在結構 X 1 k l 處理單元 國立聯合大學 資訊管理學系 k l 層 人 智慧課程 (陳士杰) 19

處理單元:類神經網路基本單位 作用可用三個函數來說明: 集成函數 作用函數 轉換函數 x 1 x 2 xn θj netj = f(Ij) 處理單元:類神經網路基本單位 作用可用三個函數來說明: 集成函數 作用函數 轉換函數 x 1 x 2 xn θj netj = f(Ij) f(netj) 輸入(Inputs) 國立聯合大學 資訊管理學系 Yj 輸出(Output) 人 智慧課程 (陳士杰) 20

集成函數 (Summation function):集成函數是用 function) 以將從其它處理單元輸出、透過網路連結傳來的訊 加以綜合。 綜合 作用函數 (Activity function):作用函數的目的 function) 是將集成函數值與處理單元目前的狀態加以綜合。 加以綜合 常用的作用函數包括: 集成函數 (Summation function):集成函數是用 function) 以將從其它處理單元輸出、透過網路連結傳來的訊 加以綜合。 綜合 作用函數 (Activity function):作用函數的目的 function) 是將集成函數值與處理單元目前的狀態加以綜合。 加以綜合 常用的作用函數包括: 直接使用集成函數輸出 加入前次集成函數輸出 集成函數 加入前次作用函數輸出 作用函數 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 21

轉換函數 (Transfer function):轉換函數的目的 function) 是將作用函數輸出值以轉換成處理單元的輸出。 處理單元的輸出 常用的有: 硬限函數 Yj = 1 if netj >0 轉換函數 (Transfer function):轉換函數的目的 function) 是將作用函數輸出值以轉換成處理單元的輸出。 處理單元的輸出 常用的有: 硬限函數 Yj = 1 if netj >0 = 0 if netj 0 線性函數 Yj = netj if netj >0 =0 if netj 0 非線性函數 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 22

層:若干個具相同作用的處理單元集合成。 具相同作用的處理單元 層的三種作用: 正規化輸出 競爭化輸出 0 1 0 0 0 競爭化學習 0 1 0 層:若干個具相同作用的處理單元集合成。 具相同作用的處理單元 層的三種作用: 正規化輸出 競爭化輸出 0 1 0 0 0 競爭化學習 0 1 0 0 0 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 23

單元2. 感知機網路 感知機 (Perceptron) 是最古老的類神經網模式 。 人 智慧的創始人之一的M. L. Minsky以專書討論 並指出無隱藏層的感知機模式無法解決互斥或 (exclusive OR, XOR) 單元2. 感知機網路 感知機 (Perceptron) 是最古老的類神經網模式 。 人 智慧的創始人之一的M. L. Minsky以專書討論 並指出無隱藏層的感知機模式無法解決互斥或 (exclusive OR, XOR) 問題,就算勉強加入隱藏 問題 層,卻苦無學習演算法可以決定適當的連結加權 值,而需以人為方式巧妙地設定其值。這個問題 一直到 1985年倒傳遞網路發明後才獲得解決。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 24

網路架構 感知機網路架構包括: 輸入層 X 1 輸出層 Wj i 輸入層: 輸入層 Y 1 用以表現網路的輸入變數,其處 理單元數目依問題而定。 網路架構 感知機網路架構包括: 輸入層 X 1 輸出層 Wj i 輸入層: 輸入層 Y 1 用以表現網路的輸入變數,其處 理單元數目依問題而定。 使用線性轉換函數,即f(x)=x。 線性轉換函數 f(x)=x 有些資料不把此層視為一層,但 在此我們將其視為一層。 X 2 輸出層: 輸出層 Xi 用以表現網路的輸出變數,其處 理單元數目依問題而定。 Yj 國立聯合大學 資訊管理學系 使用非線性轉換函數。 非線性轉換函數 人 智慧課程 (陳士杰) 25

感知機最常用的非線性轉換函數為階梯函數 (step function)。 function) 1. 0 0. 0 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 26 感知機最常用的非線性轉換函數為階梯函數 (step function)。 function) 1. 0 0. 0 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 26

網路演算法 類神經網路的運作模式有兩種: 學習過程 (Learning) 網路從範例中學習,以調整網路連結加權值的過程。 範例 調整網路連結加權值 回想過程 (Recalling) 網路由輸入資料決定輸出資料結果的過程。 輸入資料 輸出資料結果 國立聯合大學 資訊管理學系 網路演算法 類神經網路的運作模式有兩種: 學習過程 (Learning) 網路從範例中學習,以調整網路連結加權值的過程。 範例 調整網路連結加權值 回想過程 (Recalling) 網路由輸入資料決定輸出資料結果的過程。 輸入資料 輸出資料結果 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 27

學習過程 (Learning) 設定網路參數 輸入層 X 1 輸出層 Wj i Y 1 X 2 Xi 學習過程 (Learning) 設定網路參數 輸入層 X 1 輸出層 Wj i Y 1 X 2 Xi 國立聯合大學 資訊管理學系 Yj 人 智慧課程 (陳士杰) 28

輸入層 X 1 輸出層 Wj i Y 1 X 2 Xi 以均勻隨機亂數設定加權 均勻隨機亂數 值矩陣W,與閥值向量θ的 輸入層 X 1 輸出層 Wj i Y 1 X 2 Xi 以均勻隨機亂數設定加權 均勻隨機亂數 值矩陣W,與閥值向量θ的 初始值。 初始值 輸入一個訓練範例的輸入 向量X,與目標輸出向量T。 計算推論輸出向量Y: Yj 求Output 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 29

計算差距量δ 輸入層 X 1 輸出層 Wj i Y 1 計算輸出層差距量δ (推論值 Y與實際值T的差距) X 2 計算差距量δ 輸入層 X 1 輸出層 Wj i Y 1 計算輸出層差距量δ (推論值 Y與實際值T的差距) X 2 計算加權值矩陣修正量ΔW 及閥值向量修正量Δθ Xi Yj 以調整w與θ 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 30

更新加權值矩陣W及閥值向量θ 不斷加入訓練資料並重覆第 3步驟到第 7步驟,直 步驟 到收歛或執行一定數目的學習循環。 收歛 執行一定數目的學習循環 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 31 更新加權值矩陣W及閥值向量θ 不斷加入訓練資料並重覆第 3步驟到第 7步驟,直 步驟 到收歛或執行一定數目的學習循環。 收歛 執行一定數目的學習循環 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 31

回想過程 設定網路參數。 讀入加權值矩陣W,與閥值向量θ。 輸入一個測試範例的輸入向量X。 測試範例 計算推論輸出向量Y。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 32 回想過程 設定網路參數。 讀入加權值矩陣W,與閥值向量θ。 輸入一個測試範例的輸入向量X。 測試範例 計算推論輸出向量Y。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 32

網路手算範例 (以OR來討論) 已知一個OR問題的範例數值如下: 範例 輸入值 1 輸入值 2 輸出值 T 1 2 3 0 網路手算範例 (以OR來討論) 已知一個OR問題的範例數值如下: 範例 輸入值 1 輸入值 2 輸出值 T 1 2 3 0 0 1 1 4 1 1 1 X 2 f 國立聯合大學 資訊管理學系 X 1 人 智慧課程 (陳士杰) 33

網路架構初始加權值與閥值如下: Y W 13=1 W 23= 0. 5 3 Θ = 0. 5 1 網路架構初始加權值與閥值如下: Y W 13=1 W 23= 0. 5 3 Θ = 0. 5 1 X 1 2 X 2 網路採用批次學習,學習速率η = 0. 1。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 34

Let W 13=1, W 23=0. 5, Θ=0. 5 Let learning rate η=0. 1 The Let W 13=1, W 23=0. 5, Θ=0. 5 Let learning rate η=0. 1 The initial net function is: net = W 13 • X 1+ W 23 • X 2 -Θ i. e. net = 1 • X 11 + 0. 5 • X 21 - 0. 5 Feed the input pattern into network one by one (0, 0), net= -0. 5, Y=0, (T-Y)= 0 O. K. (0, 1), net= 0, (T-Y)=1 - Ø=1 Need to update weight (1, 0), net= 0. 5, Y=1, (T-Y)= 0 O. K. (1, 1), net= 1, (T-Y)= 0 O. K. Y= 0, Y=1, update weights for pattern (0, 1) ΔW 13=(0. 1)(1)( 0)= 0, W 13= W 13+ΔW 13=1 ΔW 23=(0, 1)(1)( 1)= 0. 1, W 23=0. 5+0. 1=0. 6 ΔΘ=-(0. 1)(1)=-0. 1 Θ=0. 5 -0. 1=0. 4 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 35

Applying new weights to the net function: net=1 • X 1+0. 6 • X Applying new weights to the net function: net=1 • X 1+0. 6 • X 2 -0. 4 Verify the pattern (0, 1) to see if it satisfies the expected output. (0, 1), net= 0. 2, Y= 1, (T-Y)=Ø O. K. Feed the next input pattern, again, one by one (1, 0), net= 0. 6, Y=1, (T-Y)= Ø O. K. (1, 1), net= 1. 2, Y=1, (T-Y)= Ø O. K. Since the first pattern(0, 0) has not been testified with the new weights, feed again. (0, 0), net=-0. 4, Y=Ø, δ= Ø O. K. Now all the patterns are satisfied. Hence, the network is successfully trained for OR patterns. We get the final network is : net=1 • X 1+0. 6 • X 2 -0. 4 (This is not the only solution, other solutions are possible. ) 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 36

The trained network is formed as follow: X1 1 X2 0. 6 Y f The trained network is formed as follow: X1 1 X2 0. 6 Y f Θ=0. 4 • Recall process: Once the network is trained, we can apply any two element vectors as a pattern and feed the pattern into the network for recognition. For example, we can feed (1, 0) into to the network (1, 0), net= 0. 6, Y=1 Therefore, this pattern is recognized as 1. 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 37

Perceptron Learning of the Logical AND Function 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 38 Perceptron Learning of the Logical AND Function 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 38

Perceptron Learning of the Logical OR Function 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 39 Perceptron Learning of the Logical OR Function 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 39

Perceptron Attempt at Learning the Logical XOR Function The one-layer network cannot solve the Perceptron Attempt at Learning the Logical XOR Function The one-layer network cannot solve the XOR problem…. . the network goes to the infinite loop 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 40

單元3. 倒傳遞神經網路模式是目前類神經網路學習模式 中最具代表性,應用最普遍的模式。 倒傳遞網路屬於監督式學習網路,因而適合診斷、 監督式 預測等應用。 熱中子機場防爆偵測系統 股票市場預測 期貨交易 信用卡盜用判斷 債券分級 國立聯合大學 資訊管理學系 人 單元3. 倒傳遞神經網路模式是目前類神經網路學習模式 中最具代表性,應用最普遍的模式。 倒傳遞網路屬於監督式學習網路,因而適合診斷、 監督式 預測等應用。 熱中子機場防爆偵測系統 股票市場預測 期貨交易 信用卡盜用判斷 債券分級 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 41

網路架構 倒傳遞類神網路架構包括: 輸入層 用以表現網路的輸入變數,其處理單元數目依問題而定。 使用線性轉換函數,即f(x)=x。有些資料不把此層視為一層, 線性轉換函數 但在此我們將其視為一層。 隱藏層: 隱藏層 用以表現輸入處理單元間的交互影響,其處理單元數目並無 輸入處理單元間的交互影響 標準方法可以決定,經常需以試驗方式決定其最佳數目。 試驗 使用非線性轉換函數。 網路架構 倒傳遞類神網路架構包括: 輸入層 用以表現網路的輸入變數,其處理單元數目依問題而定。 使用線性轉換函數,即f(x)=x。有些資料不把此層視為一層, 線性轉換函數 但在此我們將其視為一層。 隱藏層: 隱藏層 用以表現輸入處理單元間的交互影響,其處理單元數目並無 輸入處理單元間的交互影響 標準方法可以決定,經常需以試驗方式決定其最佳數目。 試驗 使用非線性轉換函數。 非線性轉換函數 網路可以不只一層隱藏層,也可以沒有隱藏層。 不只一層隱藏層 輸出層: 輸出層 用以表現網路的輸出變數,其處理單元數目依問題而定。 使用非線性轉換函數。 非線性轉換函數 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 42

輸入層 X 1 i 隱藏層 Wi i 輸出層 i Wi k X 1 j 輸入層 X 1 i 隱藏層 Wi i 輸出層 i Wi k X 1 j i 輸入層:表示輸入變數 Y 1 j j k X 1 k l Y 2 Y 3 k 隱藏層:表示輸入處理 單元間的交互 影響。 輸出層:表示輸出變數 l 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 43

倒傳遞網路最常用的非線性轉換函數為雙彎曲函 數 (sigmoid function)。 這種函數當自變數趨於正負無限大時,函數值趨 正負無限大 於常數,其函數值域在﹝ 0, 1﹞ 之間。 1. 0 0. 5 倒傳遞網路最常用的非線性轉換函數為雙彎曲函 數 (sigmoid function)。 這種函數當自變數趨於正負無限大時,函數值趨 正負無限大 於常數,其函數值域在﹝ 0, 1﹞ 之間。 1. 0 0. 5 0. 0 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 44

網路演算法 類神經網路的運作模式有兩種: 學習過程 (Learning) 網路從範例中學習,以調整網路連結加權值的過程。 回想過程 (Recalling) 網路由輸入資料決定輸出資料結果的過程。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 45 網路演算法 類神經網路的運作模式有兩種: 學習過程 (Learning) 網路從範例中學習,以調整網路連結加權值的過程。 回想過程 (Recalling) 網路由輸入資料決定輸出資料結果的過程。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 45

學習過程 設定網路參數 輸入層 x X 1 i 隱藏層 h Wi i 輸出層 y i 學習過程 設定網路參數 輸入層 x X 1 i 隱藏層 h Wi i 輸出層 y i X 1 j k l 國立聯合大學 資訊管理學系 Y 1 Y 2 k X 1 i j Wi k Y 3 j k l 人 智慧課程 (陳士杰) 46

以均勻隨機亂數設定加權值矩陣W_xh及W_hy, W_xh W_hy 與閥值向量θ_h及θ_y。 _h _y W_xh表示由輸入層(x)到隱藏層(h)間的各個加權值所 構成的矩陣。 W_hy表示由隱藏層(h)到輸出層(y)間的各個加權值所 構成的矩陣。 輸入一個訓練範例的輸入向量X,與目標輸出向 量T。 國立聯合大學 資訊管理學系 以均勻隨機亂數設定加權值矩陣W_xh及W_hy, W_xh W_hy 與閥值向量θ_h及θ_y。 _h _y W_xh表示由輸入層(x)到隱藏層(h)間的各個加權值所 構成的矩陣。 W_hy表示由隱藏層(h)到輸出層(y)間的各個加權值所 構成的矩陣。 輸入一個訓練範例的輸入向量X,與目標輸出向 量T。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 47

計算推論輸出向量Y: 輸入層 x X 1 i 計算隱藏層輸出向量H 隱藏層 h i 輸出層 y i j 計算推論輸出向量Y: 輸入層 x X 1 i 計算隱藏層輸出向量H 隱藏層 h i 輸出層 y i j X 1 j k l Y 2 k X 1 Y 3 j 計算推論輸出向量Y k l 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 48

計算差距量δ 輸入層 x X 1 i 計算輸出層差距量δ (推論值 Y與實際值T的差距) 隱藏層 h i 輸出層 y 計算差距量δ 輸入層 x X 1 i 計算輸出層差距量δ (推論值 Y與實際值T的差距) 隱藏層 h i 輸出層 y i j X 1 j k l Y 2 k X 1 Y 3 j k 計算隱藏層差距量δ (由輸出 層倒推回來) l 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 49

計算加權值矩陣修正量ΔW及閥值向量修正量Δθ 計算輸出層加權值矩陣修正量ΔW_hy及閥值向量修正 量Δθ_y 計算隱藏層加權值矩陣修正量ΔW_xh及閥值向量修正 量Δθ_h 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 50 計算加權值矩陣修正量ΔW及閥值向量修正量Δθ 計算輸出層加權值矩陣修正量ΔW_hy及閥值向量修正 量Δθ_y 計算隱藏層加權值矩陣修正量ΔW_xh及閥值向量修正 量Δθ_h 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 50

更新加權值矩陣W及閥值向量θ 更新輸出層加權值矩陣W_hy及閥值向量θ_y 更新輸出層加權值矩陣W_xh及閥值向量θ_h 重覆第 3步驟到第 7步驟,直到收歛或執行一定數 目的學習循環。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 51 更新加權值矩陣W及閥值向量θ 更新輸出層加權值矩陣W_hy及閥值向量θ_y 更新輸出層加權值矩陣W_xh及閥值向量θ_h 重覆第 3步驟到第 7步驟,直到收歛或執行一定數 目的學習循環。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 51

回想過程 設定網路參數。 讀入加權值矩陣W_xh及W_hy,與閥值向量θ_h及θ_y。 輸入一個測試範例的輸入向量X。 計算推論輸出向量Y。 計算隱藏層輸出向量H 計算推論輸出向量Y 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 52 回想過程 設定網路參數。 讀入加權值矩陣W_xh及W_hy,與閥值向量θ_h及θ_y。 輸入一個測試範例的輸入向量X。 計算推論輸出向量Y。 計算隱藏層輸出向量H 計算推論輸出向量Y 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 52

網路手算範例 (以XOR來討論) 已知一個XOR問題的範例數值如下: 範例 輸入值 1 輸入值 2 輸出值 T 1 2 3 -1 網路手算範例 (以XOR來討論) 已知一個XOR問題的範例數值如下: 範例 輸入值 1 輸入值 2 輸出值 T 1 2 3 -1 -1 0 1 1 4 1 1 0 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 53

網路架構初始加權值與閥值如下: W 13=1 Y 5 H 1 3 1 X 1 H 2 4 網路架構初始加權值與閥值如下: W 13=1 Y 5 H 1 3 1 X 1 H 2 4 2 θ 3=1 W 23= -1 W 14= -1 W 24=1 W 35=1 θ 4=1 θ 5=1 W 45=1 X 2 網路採用批次學習,學習速率η = 10。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 54

以第一個範例 X 1= -1, X 2= -1, T=0來討論。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 55 以第一個範例 X 1= -1, X 2= -1, T=0來討論。 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 55

國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 56 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 56

以下為第一次修正後的權重值. X 1 1. 18 0. 754 0. 82 X 2 1. 18 國立聯合大學 以下為第一次修正後的權重值. X 1 1. 18 0. 754 0. 82 X 2 1. 18 國立聯合大學 資訊管理學系 0. 754 人 智慧課程 (陳士杰) 1. 915 57

國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 58 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 58

國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 59 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 59

Stock Market Prediction A nice application for Neural Network is the prediction of the Stock Market Prediction A nice application for Neural Network is the prediction of the stock market. Our example will examine the Dow Jones Industrial Index (DJI) in 1999. 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 60

國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 61 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 61

國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 62 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 62

國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 63 國立聯合大學 資訊管理學系 人 智慧課程 (陳士杰) 63