bp神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其應(yīng)用研究

《bp神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其應(yīng)用研究》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、工學(xué)博士學(xué)位論文BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其應(yīng)用研究楊博哈爾濱工業(yè)大學(xué)2006年10月圖書(shū)分類(lèi)號(hào)：TP183U.D.C.:681.39工學(xué)博士學(xué)位論文BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其應(yīng)用研究博士研究生：楊博導(dǎo)師：唐降龍教授副導(dǎo)師：王亞?wèn)|教授申請(qǐng)學(xué)位級(jí)別：工學(xué)博士學(xué)科、專(zhuān)業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)所在單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院答辯日期：2006年10月授予學(xué)位單位：哈爾濱工業(yè)大學(xué)ClassifiedIndex：TP183U.D.C.:681.39ADissertationfortheDoctoralDegreeinEngineer

2、ingResearchontheBPNeuralNetworkandItsApplicationsCandidate：YangBoSupervisor：Prof.TangXianglongAssociateSupervisor：Prof.WangYadongAcademicDegreeAppliedfor：DoctorofEngineeringSpecialty：ComputerApplicationDateofOralExamination：October,2006University：HarbinInst

3、ituteofTechnology摘要摘要基于BP學(xué)習(xí)算法（Back-PropagationAlgorithm）的多層前饋型人工神經(jīng)網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò)）及其變形，是當(dāng)前應(yīng)用十分廣泛的神經(jīng)網(wǎng)絡(luò)模型，在諸如模式分類(lèi)，預(yù)測(cè)以及模式識(shí)別等實(shí)際問(wèn)題方面顯示出了強(qiáng)大的求解能力。然而，BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法在實(shí)際應(yīng)用過(guò)程中還存在著學(xué)習(xí)收斂速度慢，易陷入局部最優(yōu)，訓(xùn)練失敗率高和大規(guī)模數(shù)據(jù)訓(xùn)練耗時(shí)的問(wèn)題。一方面，本文通過(guò)分析傳統(tǒng)BP算法的優(yōu)缺點(diǎn)，結(jié)合其它領(lǐng)域的技術(shù)和理論，提出各種改進(jìn)算法。另一方面，通過(guò)對(duì)應(yīng)用問(wèn)題的特征分析，結(jié)合

4、BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，提出新的解決基因調(diào)控網(wǎng)絡(luò)重構(gòu)的方法。并重點(diǎn)研究了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法對(duì)大規(guī)模生物信息數(shù)據(jù)處理的問(wèn)題，最后將研究成果應(yīng)用于蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)問(wèn)題和基因調(diào)控網(wǎng)絡(luò)重構(gòu)的問(wèn)題求解上。本論文的主要研究?jī)?nèi)容如下所述：提出了基于反饋誤差放大的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，該算法能夠使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中盡量少的受飽和區(qū)域的影響，快速向期望精度方向收斂。同時(shí)，通過(guò)引入口袋算法，保證了該算法的收斂性。實(shí)驗(yàn)結(jié)果顯示，該算法可使結(jié)構(gòu)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)快速向盡可能高的精度收斂，在提高收斂速度的同時(shí)，避免了通過(guò)增加網(wǎng)絡(luò)復(fù)雜性來(lái)提高

5、收斂精度所引起的網(wǎng)絡(luò)泛化能力下降的問(wèn)題。在誤差放大學(xué)習(xí)算法的研究基礎(chǔ)上，通過(guò)結(jié)合改進(jìn)的遺傳算法，提出了基于注意力模型的混合學(xué)習(xí)算法來(lái)提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成功率。其中，為了更好的利用遺傳算法的尋優(yōu)特性，我們結(jié)合自然界中的進(jìn)化穩(wěn)定策略改進(jìn)了傳統(tǒng)的遺傳算法，以提高遺傳算法向全局最優(yōu)解收斂的性能，有效改善了遺傳算法易陷入局部最優(yōu)區(qū)域的問(wèn)題。建立了神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練平臺(tái)，并提出了基于切片思想的分布式學(xué)習(xí)算法。借助數(shù)據(jù)分布與階段式訓(xùn)練來(lái)解決BP神經(jīng)網(wǎng)絡(luò)處理大數(shù)據(jù)集時(shí)訓(xùn)練耗時(shí)過(guò)長(zhǎng)的問(wèn)題。在引入了基于切片思想的分布式學(xué)習(xí)算法之

6、后，這種分布式訓(xùn)練策略能有效提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率和成功率，使之更適于解決具有大規(guī)模訓(xùn)練數(shù)據(jù)的實(shí)際應(yīng)用問(wèn)題。針對(duì)基因表達(dá)數(shù)據(jù)噪聲多，樣本少和高度多維的特性，提出了數(shù)據(jù)片斷-I-哈爾濱工業(yè)大學(xué)工學(xué)博士學(xué)位論文模式分析的基因調(diào)控網(wǎng)絡(luò)建模方法。通過(guò)提取時(shí)序數(shù)據(jù)片斷中的模式來(lái)降低噪聲對(duì)基因間調(diào)控關(guān)系分析的影響，并使用秩相關(guān)分析來(lái)進(jìn)一步提高對(duì)噪聲的魯棒性。在此基礎(chǔ)上，我們借助對(duì)神經(jīng)網(wǎng)絡(luò)混合學(xué)習(xí)算法的研究，針對(duì)基因調(diào)控時(shí)延和聯(lián)合調(diào)控的特性，提出了基于片斷模式的基因網(wǎng)絡(luò)建模方法。在真實(shí)的酵母基因時(shí)序表達(dá)數(shù)據(jù)，Cdc28數(shù)據(jù)

7、集上的實(shí)驗(yàn)分析結(jié)果表明，由于該方法能較好的保持原始數(shù)據(jù)的信息，屏蔽了部分噪聲的影響，從而在基因網(wǎng)絡(luò)的重構(gòu)上具有良好的魯棒性。更重要的是，該方法能有效提取出基因間的調(diào)控時(shí)延信息，且更有利于多基因聯(lián)合調(diào)控關(guān)系的分析。關(guān)鍵詞多層人工神經(jīng)網(wǎng)絡(luò)；遺傳算法；分布式學(xué)習(xí)算法；基因調(diào)控網(wǎng)絡(luò)；蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)-II-AbstractAbstractMultilayerartificialneuralnetworkbasedonback-propagationalgorithm(back-propagationneuralnetw

8、ork,BPNN)isaveryusefulcomputingmodel.ManyversionsofBPNNhavebeenintroducedandappliedtovariousapplications,suchasclassification,predictionandpatternrecognition.However,therearesomelimitationsofBPNNneeded