基于數(shù)據(jù)并行的bp神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法

《基于數(shù)據(jù)并行的bp神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、華中科技大學(xué)碩士學(xué)位論文基于數(shù)據(jù)并行的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法姓名：張弦申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：馬光志20080607華中科技大學(xué)碩士學(xué)位論文摘要BP(BackPropagation)算法，即誤差反傳訓(xùn)練算法，具有良好的非線形逼近能力，是人工神經(jīng)網(wǎng)絡(luò)應(yīng)用最廣泛的訓(xùn)練算法。但是BP算法存在訓(xùn)練速度慢、易陷入局部極小值等缺陷。以彈性BP算法為代表的BP改進(jìn)算法雖然在一定程度上加快了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，但是對(duì)于訓(xùn)練規(guī)模巨大的神經(jīng)網(wǎng)絡(luò)，這些改進(jìn)算法仍然不能滿足實(shí)際應(yīng)用的要求?？紤]到神經(jīng)網(wǎng)絡(luò)本身所具有的并行處理能力，可以利用并行計(jì)算來解決大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題。BP網(wǎng)絡(luò)并行化有結(jié)構(gòu)并行

2、和數(shù)據(jù)并行兩種方法。在基于數(shù)據(jù)并行的BP算法中，訓(xùn)練樣本被劃分給不同的處理機(jī)，各處理機(jī)對(duì)同樣的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后統(tǒng)計(jì)所有的訓(xùn)練結(jié)果更新神經(jīng)網(wǎng)絡(luò)。這種方法的優(yōu)點(diǎn)是處理機(jī)之間的通信量少、并行粒度大。在基于MPI(消息傳遞接口)的并行環(huán)境下，通過局域網(wǎng)內(nèi)互聯(lián)的PC機(jī)，組建了一個(gè)機(jī)群訓(xùn)練平臺(tái)。采用主/從結(jié)構(gòu)的并行模型，將訓(xùn)練樣本數(shù)據(jù)平均分配到各從節(jié)點(diǎn)，由主節(jié)點(diǎn)收集并統(tǒng)計(jì)訓(xùn)練結(jié)果，實(shí)現(xiàn)了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的并行化。同時(shí)根據(jù)神經(jīng)網(wǎng)絡(luò)初始權(quán)值隨機(jī)性的特點(diǎn)，在并行BP算法的基礎(chǔ)上作出了改進(jìn)。在訓(xùn)練初期，各個(gè)節(jié)點(diǎn)分別對(duì)各自的神經(jīng)網(wǎng)絡(luò)進(jìn)行隨機(jī)初始化，然后同時(shí)對(duì)其進(jìn)行訓(xùn)練，在一定的迭代次數(shù)之后篩選出誤差最小的神

3、經(jīng)網(wǎng)絡(luò)，最后利用篩選出的神經(jīng)網(wǎng)絡(luò)進(jìn)行并行訓(xùn)練。采用華中科技大學(xué)同濟(jì)醫(yī)學(xué)院提供的高血壓調(diào)查數(shù)據(jù)作為訓(xùn)練樣本，分別使用串行BP算法、并行BP算法和改進(jìn)的并行BP算法，建立神經(jīng)網(wǎng)絡(luò)并對(duì)其進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果顯示，并行算法相對(duì)于串行算法極大地加快了訓(xùn)練速度。同時(shí)改進(jìn)的并行算法也有效地提高了并行訓(xùn)練的加速比和并行效率。關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)，BP算法，數(shù)據(jù)挖掘，數(shù)據(jù)并行I華中科技大學(xué)碩士學(xué)位論文AbstractBP(BackPropagation)algorithm,alsoknownastheerror-propagationalgorithm,isawidelyusedtrainingmethodin

4、theapplicationofneuralnetworksforitsfinecapabilityofnon-linearapproximation.However,itisknowntohavesomedefects,suchasconvergingslowlyandfallinginafalselocalminimum.AlthoughsomeoptimizationalgorithmsuchasRPROPhelptospeedupthelearningprocess,fortheneuralnetworkswithtremendoussizeandextremelylargetrai

5、ningsetthesealgorithmscouldnotsatisfythedemandofimplementation.Theabilityofparallelprocessingisinherentinneuralnetwork,soitisfeasibletoreducethelongtrainingtimewiththeparalleltechniques.TherearetwodifferentparallelimplementationschemesforBPnetworks,thestructureparallelismandthedataparallelism.Inthe

6、dataparallelism,thetrainingdataisdistributedtodifferentcomputingnodes;eachnodehasalocalcopyofthecompleteweighmatricesandaccumulatesweightchangevaluesforthegiventrainingpatterns,andthentheweightchangevaluesofeachnodearesummedandusedtoupdatetheglobalweightmatrices.Thedataparallelismwithalarge-grainsi

7、zereducesthecommunicationtime.Therefore,itismostlyimplementedinthecluster.ByconnectingthePCswithaTCP/IPEthernetlocalareanetwork,webuiltupaclustersystemwithMPI(MessagePassingInterface).TheparallelBPnetworkis