《前饋神經(jīng)網(wǎng)絡(luò)續(xù)》ppt課件

《《前饋神經(jīng)網(wǎng)絡(luò)續(xù)》ppt課件》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、例采用BP網(wǎng)絡(luò)映射下圖曲線規(guī)律。分析：這是X到Y(jié)的映射問(wèn)題，網(wǎng)絡(luò)采用單輸入輸出節(jié)點(diǎn)，設(shè)一個(gè)中間隱層隱層先考慮4個(gè)節(jié)點(diǎn)，即1——4——1BP網(wǎng)絡(luò)結(jié)構(gòu)。按表中數(shù)據(jù)開(kāi)始進(jìn)行學(xué)習(xí)：由于則W1i=w1i(0)=[0.20.30.40.5]T對(duì)y6d6進(jìn)行精度判斷，未達(dá)精度要求繼續(xù)誤差反傳訓(xùn)練。按表中數(shù)據(jù)依次訓(xùn)練學(xué)習(xí)，學(xué)習(xí)次數(shù)足夠高時(shí)，可能達(dá)到學(xué)習(xí)目的，實(shí)現(xiàn)權(quán)值成熟，實(shí)現(xiàn)X到Y(jié)的映射精度。2000次學(xué)習(xí)訓(xùn)練18000此學(xué)習(xí)訓(xùn)練一般網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練次數(shù)很高，采用手工計(jì)算是不可能的，需要用計(jì)算機(jī)程序求解。3.4.3BP算法的程序?qū)崿F(xiàn)前面推導(dǎo)的B

2、P網(wǎng)絡(luò)算法是BP算法基礎(chǔ)，稱(chēng)標(biāo)準(zhǔn)BP算法。目前神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)仍以軟件編程為主。現(xiàn)仍以前述三層BP網(wǎng)絡(luò)為例，說(shuō)明標(biāo)準(zhǔn)BP算法的編程步驟：輸入向量X:X=[x1x2….xi….xn]T輸出層輸出向量O:隱層權(quán)值矩陣V:隱層第j個(gè)神經(jīng)元的權(quán)列向量——；輸出層間權(quán)值矩陣W:輸出層第k個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)列向量——;網(wǎng)絡(luò)期望輸出向量:d=標(biāo)準(zhǔn)BP算法的程序?qū)崿F(xiàn)網(wǎng)絡(luò)正向傳播階段誤差反向傳播階段(以本節(jié)三層BP網(wǎng)絡(luò)為例）目前實(shí)際應(yīng)用中有兩種權(quán)值調(diào)整方法。上述標(biāo)準(zhǔn)BP算法中，每輸入一個(gè)樣本，都要回傳誤差并調(diào)整權(quán)值，亦稱(chēng)單樣本訓(xùn)練，只針對(duì)每個(gè)樣本

3、產(chǎn)生的誤差進(jìn)行調(diào)整，難免顧此失彼，實(shí)踐表明，使整個(gè)訓(xùn)練次數(shù)增加，導(dǎo)致收斂速度過(guò)慢。另一種方法是在所有樣本輸入后，計(jì)算網(wǎng)絡(luò)的總誤差E總：E總=然后根據(jù)總誤差E總計(jì)算各層的誤差信號(hào)并調(diào)整權(quán)值，這種累積誤差的批處理方式稱(chēng)為批（Batch)訓(xùn)練或周期（epoch)訓(xùn)練。批訓(xùn)練遵循了以減小全局誤差為目標(biāo)的原則，因而可以保證誤差向減小方向變化。在樣本數(shù)較多時(shí)，批訓(xùn)練比單樣本訓(xùn)練時(shí)的收斂速度快。檢查訓(xùn)練精度可用E=E總，也可用ERME：EP—不同樣本的訓(xùn)練誤差（共有P對(duì)樣本）批訓(xùn)練BP算法流程程序可用一般高級(jí)語(yǔ)言編寫(xiě)，如Ｃ等，但考慮方便，

4、最好采用ＭＡＴＬＡＢ語(yǔ)言，特別是ＭＡＴＬＡＢ環(huán)境中開(kāi)發(fā)了工具箱（Toolboxes),其中神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)工具（NeuralNetwork)提供很豐富的手段來(lái)完成ＢＰ等ＡＮＮ設(shè)計(jì)與分析．NeuralNetwork中提供了網(wǎng)絡(luò)初始化函數(shù)用語(yǔ)構(gòu)建基本網(wǎng)絡(luò)，可自動(dòng)生成權(quán)值，提供各種轉(zhuǎn)移函數(shù)，提供各種訓(xùn)練或?qū)W習(xí)方法與手段，并實(shí)現(xiàn)仿真運(yùn)算，監(jiān)視網(wǎng)絡(luò)訓(xùn)練誤差等．BP網(wǎng)絡(luò)的訓(xùn)練，可概括歸納為輸入已知數(shù)據(jù)，權(quán)值初始化，訓(xùn)練網(wǎng)絡(luò)三大步.用神經(jīng)網(wǎng)絡(luò)工具箱訓(xùn)練BP網(wǎng)絡(luò)，權(quán)值初始化和訓(xùn)練網(wǎng)絡(luò)都可調(diào)用BP網(wǎng)絡(luò)的相應(yīng)工具函數(shù)。調(diào)用時(shí)，用戶只需要將這些工具函

5、數(shù)視為黑箱，知道輸入什么得到什么即可，不必考慮工具函數(shù)內(nèi)部究竟如何。函數(shù)功能newff創(chuàng)建一前饋ＢＰ網(wǎng)絡(luò)(網(wǎng)絡(luò)初始化函數(shù))Initff前饋網(wǎng)絡(luò)初始化（不超３層初始化函數(shù))purelin線性傳遞（轉(zhuǎn)移）函數(shù)tansig正切Ｓ型傳遞函數(shù)（雙極性Ｓ函數(shù)）logsig對(duì)數(shù)正切Ｓ型傳遞函數(shù)（單極性Ｓ函數(shù)）deltalinpurelin神經(jīng)元的δ函數(shù)deltatantansig神經(jīng)元的δ函數(shù)deltaloglogsig神經(jīng)元的δ函數(shù)ＢＰ網(wǎng)絡(luò)的一些重要函數(shù)和功能(與版本有關(guān))函數(shù)功能trainbpＢＰ算法訓(xùn)練函數(shù)（標(biāo)準(zhǔn)）trainbpx快

6、速ＢＰ算法訓(xùn)練函數(shù)trainlmLevenberg-Marquardt訓(xùn)練函數(shù)traingd梯度下降訓(xùn)練函數(shù)traingdm梯度下降、動(dòng)量訓(xùn)練函數(shù)traingda梯度下降、自適應(yīng)學(xué)習(xí)率訓(xùn)練函數(shù)traingdx梯度下降、動(dòng)量和自適應(yīng)學(xué)習(xí)訓(xùn)練函數(shù)simuff前饋網(wǎng)絡(luò)仿真函數(shù)(網(wǎng)絡(luò)計(jì)算和測(cè)試網(wǎng)絡(luò))errsurf計(jì)算誤差曲面函數(shù)plotes繪制誤差曲面函數(shù)ploterr繪制網(wǎng)絡(luò)誤差相對(duì)訓(xùn)練步曲線基本神經(jīng)元模型傳遞函數(shù)(轉(zhuǎn)移函數(shù))線性傳遞函數(shù)purelin(s)即y=s;對(duì)數(shù)S型傳遞函數(shù)logsig(s)即y=1/(1+e-s）;雙曲

7、正切S型傳遞函數(shù)tansig(s)即=tansigs）即y=(1-e-s)／(1+e-s）曲線。初始化函數(shù)initff，可獲得至多三層的前饋網(wǎng)絡(luò)各層的初始權(quán)值和閾值。函數(shù)的形式參數(shù)中，X為輸入矢量；n1、n2,n3分別為第1,2,3層的神經(jīng)元數(shù)目；f1、f2、f3分別為第1,2,3層神經(jīng)元的傳遞函數(shù)；W1、W2、W3分別為第1,2,3層的權(quán)值矩陣；b1,b2,b3分別為第1,2,3層的神經(jīng)元偏置(閾值)。在輸入矢量X的數(shù)據(jù)時(shí)，應(yīng)該包含所有輸入值中的最大和最小值，這樣才能保證經(jīng)過(guò)initff處理后得到最佳的初始值。例如：有一雙

8、層網(wǎng)絡(luò)，有兩個(gè)輸入，定義了其最大和最小值，X=[0,10;-5,5]。第1層（即隱層）神經(jīng)元數(shù)和傳遞函數(shù)分別是n1=4,f1=tansig，第2層（即輸出層）的n2=3,f2=purelin，調(diào)用格式：[W1，b1，W2，b2]=initff（[0，10；-5，5]，4,'tansig'，