資源描述：
《多層前饋神經(jīng)網(wǎng)絡(luò)全局優(yōu)化算法研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、東北大學(xué)碩士學(xué)位論文摘要多層前饋神經(jīng)網(wǎng)絡(luò)全局優(yōu)化算法研究摘要多層前饋神經(jīng)網(wǎng)是應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型之一，它對任意連續(xù)函數(shù)的逼近能力為它在非線性系統(tǒng)建模和控制中的應(yīng)用提供了堅(jiān)實(shí)的理論基礎(chǔ)。針對前饋神經(jīng)網(wǎng)絡(luò)提出的BP算法使其在函數(shù)逼近、模式識別等領(lǐng)域都有大量的應(yīng)用。但由于BP算法是由梯度下降方法來最小化網(wǎng)絡(luò)誤差函數(shù)推導(dǎo)出來的，所以在網(wǎng)絡(luò)訓(xùn)練時易陷入局部極小點(diǎn)。而且，為了解決BP算法易陷入局部極小點(diǎn)問題而引入的隨機(jī)型全局算法受到本身特性的制約，經(jīng)常不能滿足對訓(xùn)練要求。為此，一些確定型全局算法被應(yīng)用到神經(jīng)網(wǎng)絡(luò)領(lǐng)域。本文對兩類確定型全局優(yōu)化算法(填充函數(shù)算法和區(qū)間算法)作了比較深入的研究，并在此
2、基礎(chǔ)上作了進(jìn)一步的推廣和證明。然后將兩類全局算法分別與神經(jīng)網(wǎng)絡(luò)相結(jié)合，得到前饋神經(jīng)網(wǎng)絡(luò)全局算法，并討論算法各自適用的網(wǎng)絡(luò)結(jié)構(gòu)規(guī)模。仿真實(shí)驗(yàn)證明了兩種全局算法可以在神經(jīng)網(wǎng)絡(luò)訓(xùn)練當(dāng)中取得令人滿意的效果。主要內(nèi)容如下：(1】在已有的填充函數(shù)模型的基礎(chǔ)上，提出了一種改進(jìn)的單參數(shù)填充函數(shù)模型，并給予理論證明。對于重要參數(shù)給予理論分析，并在實(shí)踐中得到驗(yàn)證。(2)針對多層前饋神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，將填充函數(shù)算法與BP算法相結(jié)合，提出基于單參數(shù)填充函數(shù)的全局優(yōu)化神經(jīng)網(wǎng)絡(luò)算法，并進(jìn)行了有效性分析。這種混合策略可以在保持最速下降法尋優(yōu)速度的前提下，得到全局最優(yōu)解。(3)對于區(qū)間算法當(dāng)中的關(guān)鍵區(qū)間處理步驟，提出了針對
3、神經(jīng)網(wǎng)絡(luò)的誤差函數(shù)的新的區(qū)間擴(kuò)張函數(shù)模型，并給予理論證明。隨后，為了增加目標(biāo)函數(shù)的梯度的使用效率，提出了合理的區(qū)間刪除法則組合。該區(qū)間擴(kuò)張模型與區(qū)間刪除法則可以有效地提高區(qū)嵋j算法的收斂速度?！?針對多層前饋神經(jīng)網(wǎng)絡(luò)，提出基于區(qū)間算法的全局優(yōu)化神經(jīng)網(wǎng)絡(luò)算法。在保持區(qū)間算法的全局收斂性的基礎(chǔ)r：，有效地提高了算法收斂速度。關(guān)鍵詞：多層前饋神經(jīng)網(wǎng)絡(luò)填充函數(shù)算法區(qū)間算法BP算法局部極小點(diǎn)一II東北大學(xué)碩士掌位論丈AbstractResearchofGlobalOptimizationAlgorithmonFeedforwardNeuralNetworkAbstractInthenumerousm
4、odelsofneuralnetworks，themultilayersFeedforwardNeuralNetworks(FFN)arewidelyusedinmanyfields．TheFFNhaspowerfulabilityinapproximationforanycontinuousfunctions，whichprovidestheoryforitsmodelingandcontrollinginnonlinearsystem，AndBack—Propagation(BP)algorithmmakesFNNmoreeasilytobeappliedinmanyareas，suc
5、hasfunctionapproximation，pattemrecognitionandsoon．BPalgorithm，however，whichisbasedongradientdescentalgorithm，hadoftenstucktheerrorfunctioninalocalminimalpoint．Then，somerandomnessglobalalgorithmswereappliedtoFNNforthatweaknessButbecausespeedofrandomnessglobalalgorithmsconvergenceistooslowtofitforla
6、rgescaleneuralnetworks．Afterthat，somedeterministicglobalalgorithmswerealsobroughtintoneuralnetworks．Inthisthesis，twoglobaloptimizationmethods(Filled-FunctionAlgorithmandintervalAlgorittzm)werestudieddeeply,"Furthermore，twoalgorithmswereextendedandprovedforneuralnetworks，andwerecombinedwith開州tobeco
7、meglobaloptimizationneuralnetworksalgorithmsApplicationrangeofeachalgorithmwasalsodiscussedfordifierentFNNstructureaftersimulationexperiments．AndthesimulationresultsshowItSthatthepresentedalgorithmshavegoodperfor
