資源描述：
《bp算法改進應用》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、BP算法及其改進應用0引肯神經(jīng)網(wǎng)絡(luò)(NeuralNetworks,簡稱NN)是由大量的、簡單的處理單元(簡稱為神經(jīng)元)廣泛的相互連接而成的復雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特性，是一個高度復雜的非線性動力學系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲和處理、自組織、自適應和自學習能力，特別適合處理需要同時考慮許多因素和條件的、不精確和模糊的信息處理問題。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學、數(shù)理科學、認知科學、計算機科學、人工智能、信息科學、控制論、機器人學、微電子學、心理學、光計算、分子生物學等有關(guān)，是一
2、門新興的邊緣交叉學科。1986Rumelhart和McCelland等人提出并行分布處理(PDP)的理論，同時提出了多層網(wǎng)絡(luò)的誤差反向傳播學習算法，簡稱BP算法。這種算法根據(jù)學習的誤差大小，把學習的結(jié)果反饋到中間層次的隱單元，改變它的權(quán)系數(shù)矩陣，從而達到預期的學習目的，解決了多層網(wǎng)絡(luò)的學習問題。BP算法從實踐上證明神經(jīng)網(wǎng)絡(luò)的運算能力很強，可以完成許多學習任務，解決許多具體問題。BP網(wǎng)絡(luò)是迄今為止最常用、最普通的網(wǎng)絡(luò)。1基于BP算法的多層前饋模型1.1數(shù)學模型其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示yQ22Q、、二-二
3、9直三圖1BP網(wǎng)絡(luò)結(jié)構(gòu)模型的數(shù)學表達如下：輸入向量：X=(“,兀2,…，石，…，勺)隱層輸出向量：Y=⑶，力,…,片,…,ym)T輸出層輸出向量:O=(o,O2，???,Ok，???,o"T期望輸出向量：d=(〃i，〃2,…,心,???,〃/)丁輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,...,VJ,...,VW)隱層到輸出層Z間的權(quán)值矩陣：W=(W1,W9,...,VK,...,W/)mneh=E^/^/j"k=1,2,...,/(1-2)對于隱層：yj=f（netj）j=l,2,...,
4、fn(1-3)nnetJ=DijXii=0j=1,2,...,加(1-4)其中，/（?）為單極性Sigmoid函數(shù)f(x)=-1或雙極性Sigmoid函數(shù)k=1,2,…」(1-1)1+w1.2各層計算對于輸出層：ok=f（netk）/w=2BP學習算法2.1網(wǎng)絡(luò)誤差與權(quán)值調(diào)整輸出誤差E定義:E=-（d-o）2=~Y（dk-ok）222k=［將以上誤差定義式展開至隱層：1/1/mE=-^lk-f（netk）］2=工［如-2k=l2k=y=01zm進一步展開至輸入層：￡=工｛心-/［工耳?。ㄟ?）］
5、｝22k=lj=0]Imn=-/[工Wj汀(為叫產(chǎn)?)1}22k={j=0i=0j=1,2,...,/d￡(1-5)(1-6)(1-7)(1-8)i=0」,…屮;j=12???N(1-9)式中負號表示梯度下降，常數(shù)ne（o,i）表示比例系數(shù)。在全部推導過程中，對輸出層有)=0,1,???,加;k=1,2,???,Z對隱層有z=0,1,...,/?;j=1,2,...,m2.2算法推導對于輸出層式（1-8）,可以寫成：△⑷孫-異E~n叫3wjk(MO)對于隱層式（1-9）,可以寫成：△切二-“uVy
6、dnetjdv^"ij對輸岀層和隱層各定義一個誤差信號，令綜合利用上式可得權(quán)值調(diào)整為：Awjk=7]^yj(1-11)(1-12)(1-13)(1-14)(1-15)可以看出，只要計算出式（1-14）.式（1?15）中的誤差信號》。和/〉'，權(quán)值調(diào)整量的計算推導即可完成。下面繼續(xù)推導如何求誤差信號^和莎丫。(1-16)對于輸岀層，尸可展開為：殞=-且二二-竺單丄二-竺廣（必以）dnctdoidncti，doi，(1-17)對于隱層，歹可展開為：叭=-=-學學二=-學廣（呦?）7dnetjdyjdn
7、et；dyj對式（1?5）求各階偏導數(shù)可得：#=-（如-儀）°。k(1-18)1/m對于隱層有：￡=工[心-/(2＞伙*)]22kmj=odF/故可得：-—=-工9丘-oJf叫)wjkdyjk=(1-19)(1-20)將上式代入（1?16）,并利用單極性Sigmoid函數(shù)=-可得:說=(蘇-ok)ok(l-ok)(1-21)II必=[工⑷:-乞）fgtk）Wjk]f（netj）=（為說WjkQj（ly）k=k=將式（1?21）、（1-22）代入式（1?14）、（1-15）可得三層前饋網(wǎng)的BP
8、學習算法權(quán)值調(diào)整的計算公式為：=曲yj=〃（辦一ok）ok（1-ok）yj(1-22)(1-23)Zj=碼Xi=〃(工風wQj(1-yj)Xi(1-24)k=i3基于BP的多層前饋網(wǎng)的主要能力、局限性及改進3.1主要能力(1)非線性映射能力多層前饋網(wǎng)能學習和存貯大量輸入■輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學方程。只要能提供足夠多的樣本模式對供BP網(wǎng)絡(luò)進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。(2)泛化能力當向網(wǎng)絡(luò)輸入訓練時未曾見過的非樣本數(shù)
