bp網(wǎng)絡(luò)的改進(jìn)算法簡介

《bp網(wǎng)絡(luò)的改進(jìn)算法簡介》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork,ANN),自從20世紀(jì)50年代Rosenblatt首次將單層感知器應(yīng)用于模式分類學(xué)習(xí)以來,已經(jīng)有了幾十年的研究歷史.但是由于Minsky和Papert指出單層系統(tǒng)的局限性,并表達(dá)了對多層系統(tǒng)的悲觀看法,在20世紀(jì)70年代對ANN的研究興趣減弱.直至80年代中期Rumelhart等重新闡述了反傳訓(xùn)練方法,使得在ANN領(lǐng)域的理論和應(yīng)用研究開始在世界范圍內(nèi)重新興起.ANN是一種按照人腦的組織和活動原理而構(gòu)造的一種數(shù)據(jù)驅(qū)動型非線性映射模型,它具有并行處理、自適應(yīng)自組織、聯(lián)想記憶、容錯(cuò)魯棒以及逼近任意非線性等特性,在預(yù)測評估、模式

2、識別、信號處理、組合優(yōu)化及知識工程等領(lǐng)域具有廣泛的應(yīng)用.近年來,已有多種ANN模型被提出并得以深入研究.其中,80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用前饋反向傳播網(wǎng)絡(luò)(BackPropagationNetWork簡稱BP網(wǎng)絡(luò))或它的改進(jìn)形式,它是前向網(wǎng)絡(luò)的核心部分,體現(xiàn)了網(wǎng)絡(luò)最精華的部分.標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)是根據(jù)Widrow-Hoff規(guī)則,采用梯度下降算法,在非線性多層網(wǎng)絡(luò)中,反向傳播計(jì)算梯度.但BP網(wǎng)絡(luò)存在自身的限制與不足,如需要較長的訓(xùn)練時(shí)間、會收斂于局部極小值等,使得BP算法在實(shí)際應(yīng)用中不是處處能勝任.因此近十幾年來,許多研究人員對其做了深入的研究,提出了許多改進(jìn)的算法,如使用動量

3、項(xiàng)的加快離線訓(xùn)練速度的方法、歸一化權(quán)值更新技術(shù)方法、快速傳播算法、δ-δ方法、擴(kuò)展卡爾曼濾波法、二階優(yōu)化以及最優(yōu)濾波法等.BP網(wǎng)絡(luò)的改進(jìn)算法大體上分為兩類,一類是采用啟發(fā)式技術(shù),如附加動量法、自適應(yīng)學(xué)習(xí)速率法、RPROP方法；另一類是采用數(shù)字優(yōu)化技術(shù),如共軛梯度法、擬牛頓法、Levenberg-Marquardt方法.附加動量法使BP神經(jīng)網(wǎng)絡(luò)在修正其權(quán)重和閾值時(shí),不僅考慮誤差在梯度上的作用,而且考慮在誤差曲面上變化趨勢的影響,它允許忽略網(wǎng)絡(luò)上的微小變化特性.該方法是在反向傳播法的基礎(chǔ)上,在每一個(gè)權(quán)重和閾值的變化上加上一項(xiàng)正比于前次權(quán)重和閾值變化量的值,并根據(jù)反向傳播法來產(chǎn)生新的權(quán)重

4、和閾值的變化,帶有附加動量因子的權(quán)重和閾值(X)調(diào)節(jié)公式為:（1）其中k為訓(xùn)練次數(shù),mc為動量因子,一般取0.95左右,lr為學(xué)習(xí)速率,是常數(shù),E為誤差函數(shù).這種方法所加入的動量項(xiàng)實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng),它減小了學(xué)習(xí)過程的振蕩趨勢,從而改善了收斂性,找到更優(yōu)的解.但是這種方法的缺點(diǎn)也是明顯的,參數(shù)的選取只能通過實(shí)驗(yàn)來確定,而且它的學(xué)習(xí)速度還不能滿足實(shí)時(shí)的工作需要.2．自適應(yīng)學(xué)習(xí)速率法自適應(yīng)調(diào)整學(xué)習(xí)速率有利于縮短學(xué)習(xí)時(shí)間.標(biāo)準(zhǔn)BP算法收斂速度慢的重要原因是學(xué)習(xí)速率選擇不當(dāng).學(xué)習(xí)速率選得太小,收斂太慢;學(xué)習(xí)速率選取得太大,則有可能修正過頭,導(dǎo)致發(fā)散.因此出現(xiàn)了自適應(yīng)調(diào)整的改進(jìn)算法,其權(quán)重和

5、閾值(X)見公式（2）（3）其中,lr為學(xué)習(xí)速率,是變量,而公式(1)中l(wèi)r是常數(shù).通常調(diào)節(jié)學(xué)習(xí)速率lr的準(zhǔn)則是:檢查權(quán)重的修正值是否真正降低了誤差函數(shù),如果確實(shí)如此,則說明所選取的學(xué)習(xí)速率值小了,可以對其增加一個(gè)量;若不是這樣,而產(chǎn)生了過調(diào),那么就應(yīng)減小學(xué)習(xí)速率的值.3．彈性BP(ResilientBackpropagation,RPROP)方法一般來說,BP網(wǎng)絡(luò)的隱含層激活函數(shù)采用S形的(Sigmoid)函數(shù).Sigmoid函數(shù)用于將神經(jīng)元的輸入范圍(-∞,+∞)映射到(0,1),當(dāng)輸入變量很時(shí),Sigmoid函數(shù)的斜率將接近于0.這可能導(dǎo)致在利用Sigmoid函數(shù)訓(xùn)練BP網(wǎng)絡(luò)

6、中梯度下降的問題,由于即使梯度有很小的變化,也會引起權(quán)重和閾值的微小變化,使權(quán)重和閾值遠(yuǎn)離最樂觀的值.有鑒于此,1993年德國MartinRiedmiller和HeinrichBraun在他們的論文中提出有彈性的BP(ResilientBackpropagation)方法.這種方法的原理是打算消除偏導(dǎo)數(shù)的大小有害的影響權(quán)步,因此,唯有導(dǎo)數(shù)的符號被認(rèn)為表示權(quán)更新的方向,而導(dǎo)數(shù)的大小對權(quán)更新沒有影響.權(quán)改變的大小僅僅由權(quán)專門的“更新t時(shí)刻.對每個(gè)權(quán)重和閾值的更新值得到修改,權(quán)更新本身遵循一個(gè)很簡單的規(guī)則:如果導(dǎo)數(shù)是正(增加誤差),這個(gè)權(quán)重和閾值由它的更新值降低,如果導(dǎo)數(shù)是負(fù),更新值提高

7、:見公式（5）RPROP的基本原理是權(quán)重和閾值更新值的直接修改,它和以學(xué)習(xí)速率為基礎(chǔ)的算法相反(正如梯度下降一樣).RPROP引入Resilient(有彈性的)更新值的概念直接地修改權(quán)步的大小.因此,修改結(jié)果不會被不可預(yù)見的梯度性能變模糊.由于學(xué)習(xí)規(guī)律的清楚和簡單,和最初的反傳算法比較,在計(jì)算上僅有少量的耗費(fèi).除了快速外,RPROP的主要優(yōu)點(diǎn)之一在于對許多問題一點(diǎn)也不需要參數(shù)的選擇以得到最優(yōu)或者至少接近最優(yōu)收斂時(shí)間.4．共軛梯度法當(dāng)使用共軛梯度向量來確定共軛方向時(shí),稱