資源描述：
《bp算法改進(jìn)應(yīng)用》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、BP算法及其改進(jìn)應(yīng)用0引肯神經(jīng)網(wǎng)絡(luò)(NeuralNetworks,簡稱NN)是由大量的、簡單的處理單元(簡稱為神經(jīng)元)廣泛的相互連接而成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特性，是一個高度復(fù)雜的非線性動力學(xué)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲和處理、自組織、自適應(yīng)和自學(xué)習(xí)能力，特別適合處理需要同時考慮許多因素和條件的、不精確和模糊的信息處理問題。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學(xué)、數(shù)理科學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)、人工智能、信息科學(xué)、控制論、機(jī)器人學(xué)、微電子學(xué)、心理學(xué)、光計(jì)算、分子生物學(xué)等有關(guān)，是一
2、門新興的邊緣交叉學(xué)科。1986Rumelhart和McCelland等人提出并行分布處理(PDP)的理論，同時提出了多層網(wǎng)絡(luò)的誤差反向傳播學(xué)習(xí)算法，簡稱BP算法。這種算法根據(jù)學(xué)習(xí)的誤差大小，把學(xué)習(xí)的結(jié)果反饋到中間層次的隱單元，改變它的權(quán)系數(shù)矩陣，從而達(dá)到預(yù)期的學(xué)習(xí)目的，解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。BP算法從實(shí)踐上證明神經(jīng)網(wǎng)絡(luò)的運(yùn)算能力很強(qiáng)，可以完成許多學(xué)習(xí)任務(wù)，解決許多具體問題。BP網(wǎng)絡(luò)是迄今為止最常用、最普通的網(wǎng)絡(luò)。1基于BP算法的多層前饋模型1.1數(shù)學(xué)模型其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示yQ22Q、、二-二
3、9直三圖1BP網(wǎng)絡(luò)結(jié)構(gòu)模型的數(shù)學(xué)表達(dá)如下：輸入向量：X=(“,兀2,…，石，…，勺)隱層輸出向量：Y=⑶，力,…,片,…,ym)T輸出層輸出向量:O=(o,O2，???,Ok，???,o"T期望輸出向量：d=(〃i，〃2,…,心,???,〃/)丁輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,...,VJ,...,VW)隱層到輸出層Z間的權(quán)值矩陣：W=(W1,W9,...,VK,...,W/)mneh=E^/^/j"k=1,2,...,/(1-2)對于隱層：yj=f（netj）j=l,2,...,
4、fn(1-3)nnetJ=DijXii=0j=1,2,...,加(1-4)其中，/（?）為單極性Sigmoid函數(shù)f(x)=-1或雙極性Sigmoid函數(shù)k=1,2,…」(1-1)1+w1.2各層計(jì)算對于輸出層：ok=f（netk）/w=2BP學(xué)習(xí)算法2.1網(wǎng)絡(luò)誤差與權(quán)值調(diào)整輸出誤差E定義:E=-（d-o）2=~Y（dk-ok）222k=［將以上誤差定義式展開至隱層：1/1/mE=-^lk-f（netk）］2=工［如-2k=l2k=y=01zm進(jìn)一步展開至輸入層：￡=工｛心-/［工耳?。ㄟ?）］
5、｝22k=lj=0]Imn=-/[工Wj汀(為叫產(chǎn)?)1}22k={j=0i=0j=1,2,...,/d￡(1-5)(1-6)(1-7)(1-8)i=0」,…屮;j=12???N(1-9)式中負(fù)號表示梯度下降，常數(shù)ne（o,i）表示比例系數(shù)。在全部推導(dǎo)過程中，對輸出層有)=0,1,???,加;k=1,2,???,Z對隱層有z=0,1,...,/?;j=1,2,...,m2.2算法推導(dǎo)對于輸出層式（1-8）,可以寫成：△⑷孫-異E~n叫3wjk(MO)對于隱層式（1-9）,可以寫成：△切二-“uVy
6、dnetjdv^"ij對輸岀層和隱層各定義一個誤差信號，令綜合利用上式可得權(quán)值調(diào)整為：Awjk=7]^yj(1-11)(1-12)(1-13)(1-14)(1-15)可以看出，只要計(jì)算出式（1-14）.式（1?15）中的誤差信號》。和/〉'，權(quán)值調(diào)整量的計(jì)算推導(dǎo)即可完成。下面繼續(xù)推導(dǎo)如何求誤差信號^和莎丫。(1-16)對于輸岀層，尸可展開為：殞=-且二二-竺單丄二-竺廣（必以）dnctdoidncti，doi，(1-17)對于隱層，歹可展開為：叭=-=-學(xué)學(xué)二=-學(xué)廣（呦?）7dnetjdyjdn
7、et；dyj對式（1?5）求各階偏導(dǎo)數(shù)可得：#=-（如-儀）°。k(1-18)1/m對于隱層有：￡=工[心-/(2＞伙*)]22kmj=odF/故可得：-—=-工9丘-oJf叫)wjkdyjk=(1-19)(1-20)將上式代入（1?16）,并利用單極性Sigmoid函數(shù)=-可得:說=(蘇-ok)ok(l-ok)(1-21)II必=[工⑷:-乞）fgtk）Wjk]f（netj）=（為說WjkQj（ly）k=k=將式（1?21）、（1-22）代入式（1?14）、（1-15）可得三層前饋網(wǎng)的BP
8、學(xué)習(xí)算法權(quán)值調(diào)整的計(jì)算公式為：=曲yj=〃（辦一ok）ok（1-ok）yj(1-22)(1-23)Zj=碼Xi=〃(工風(fēng)wQj(1-yj)Xi(1-24)k=i3基于BP的多層前饋網(wǎng)的主要能力、局限性及改進(jìn)3.1主要能力(1)非線性映射能力多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入■輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。(2)泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)
