bp神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其應(yīng)用研究

《bp神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其應(yīng)用研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、工學(xué)博士學(xué)位論文BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其應(yīng)用研究楊博哈爾濱工業(yè)大學(xué)2006年10月圖書分類號：TP183U.D.C.:681.39工學(xué)博士學(xué)位論文BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其應(yīng)用研究博士研究生：楊博導(dǎo)師：唐降龍教授副導(dǎo)師：王亞東教授申請學(xué)位級別：工學(xué)博士學(xué)科、專業(yè)：計算機應(yīng)用技術(shù)所在單位：計算機科學(xué)與技術(shù)學(xué)院答辯日期：2006年10月授予學(xué)位單位：哈爾濱工業(yè)大學(xué)ClassifiedIndex：TP183U.D.C.:681.39ADissertationfortheDoctoralDegreeinEngineer

2、ingResearchontheBPNeuralNetworkandItsApplicationsCandidate：YangBoSupervisor：Prof.TangXianglongAssociateSupervisor：Prof.WangYadongAcademicDegreeAppliedfor：DoctorofEngineeringSpecialty：ComputerApplicationDateofOralExamination：October,2006University：HarbinInst

3、ituteofTechnology摘要摘要基于BP學(xué)習(xí)算法（Back-PropagationAlgorithm）的多層前饋型人工神經(jīng)網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò)）及其變形，是當(dāng)前應(yīng)用十分廣泛的神經(jīng)網(wǎng)絡(luò)模型，在諸如模式分類，預(yù)測以及模式識別等實際問題方面顯示出了強大的求解能力。然而，BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法在實際應(yīng)用過程中還存在著學(xué)習(xí)收斂速度慢，易陷入局部最優(yōu)，訓(xùn)練失敗率高和大規(guī)模數(shù)據(jù)訓(xùn)練耗時的問題。一方面，本文通過分析傳統(tǒng)BP算法的優(yōu)缺點，結(jié)合其它領(lǐng)域的技術(shù)和理論，提出各種改進算法。另一方面，通過對應(yīng)用問題的特征分析，結(jié)合

4、BP神經(jīng)網(wǎng)絡(luò)的特點，提出新的解決基因調(diào)控網(wǎng)絡(luò)重構(gòu)的方法。并重點研究了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法對大規(guī)模生物信息數(shù)據(jù)處理的問題，最后將研究成果應(yīng)用于蛋白質(zhì)二級結(jié)構(gòu)預(yù)測問題和基因調(diào)控網(wǎng)絡(luò)重構(gòu)的問題求解上。本論文的主要研究內(nèi)容如下所述：提出了基于反饋誤差放大的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，該算法能夠使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中盡量少的受飽和區(qū)域的影響，快速向期望精度方向收斂。同時，通過引入口袋算法，保證了該算法的收斂性。實驗結(jié)果顯示，該算法可使結(jié)構(gòu)簡單的神經(jīng)網(wǎng)絡(luò)快速向盡可能高的精度收斂，在提高收斂速度的同時，避免了通過增加網(wǎng)絡(luò)復(fù)雜性來提高

5、收斂精度所引起的網(wǎng)絡(luò)泛化能力下降的問題。在誤差放大學(xué)習(xí)算法的研究基礎(chǔ)上，通過結(jié)合改進的遺傳算法，提出了基于注意力模型的混合學(xué)習(xí)算法來提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成功率。其中，為了更好的利用遺傳算法的尋優(yōu)特性，我們結(jié)合自然界中的進化穩(wěn)定策略改進了傳統(tǒng)的遺傳算法，以提高遺傳算法向全局最優(yōu)解收斂的性能，有效改善了遺傳算法易陷入局部最優(yōu)區(qū)域的問題。建立了神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練平臺，并提出了基于切片思想的分布式學(xué)習(xí)算法。借助數(shù)據(jù)分布與階段式訓(xùn)練來解決BP神經(jīng)網(wǎng)絡(luò)處理大數(shù)據(jù)集時訓(xùn)練耗時過長的問題。在引入了基于切片思想的分布式學(xué)習(xí)算法之

6、后，這種分布式訓(xùn)練策略能有效提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率和成功率，使之更適于解決具有大規(guī)模訓(xùn)練數(shù)據(jù)的實際應(yīng)用問題。針對基因表達數(shù)據(jù)噪聲多，樣本少和高度多維的特性，提出了數(shù)據(jù)片斷-I-哈爾濱工業(yè)大學(xué)工學(xué)博士學(xué)位論文模式分析的基因調(diào)控網(wǎng)絡(luò)建模方法。通過提取時序數(shù)據(jù)片斷中的模式來降低噪聲對基因間調(diào)控關(guān)系分析的影響，并使用秩相關(guān)分析來進一步提高對噪聲的魯棒性。在此基礎(chǔ)上，我們借助對神經(jīng)網(wǎng)絡(luò)混合學(xué)習(xí)算法的研究，針對基因調(diào)控時延和聯(lián)合調(diào)控的特性，提出了基于片斷模式的基因網(wǎng)絡(luò)建模方法。在真實的酵母基因時序表達數(shù)據(jù)，Cdc28數(shù)據(jù)

7、集上的實驗分析結(jié)果表明，由于該方法能較好的保持原始數(shù)據(jù)的信息，屏蔽了部分噪聲的影響，從而在基因網(wǎng)絡(luò)的重構(gòu)上具有良好的魯棒性。更重要的是，該方法能有效提取出基因間的調(diào)控時延信息，且更有利于多基因聯(lián)合調(diào)控關(guān)系的分析。關(guān)鍵詞多層人工神經(jīng)網(wǎng)絡(luò)；遺傳算法；分布式學(xué)習(xí)算法；基因調(diào)控網(wǎng)絡(luò)；蛋白質(zhì)結(jié)構(gòu)預(yù)測-II-AbstractAbstractMultilayerartificialneuralnetworkbasedonback-propagationalgorithm(back-propagationneuralnetw

8、ork,BPNN)isaveryusefulcomputingmodel.ManyversionsofBPNNhavebeenintroducedandappliedtovariousapplications,suchasclassification,predictionandpatternrecognition.However,therearesomelimitationsofBPNNneeded