人工神經(jīng)網(wǎng)絡(luò)論文：改進bp算法在數(shù)據(jù)倉庫中的應(yīng)用

《人工神經(jīng)網(wǎng)絡(luò)論文：改進bp算法在數(shù)據(jù)倉庫中的應(yīng)用》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、人工神經(jīng)網(wǎng)絡(luò)論文：改進BP算法在數(shù)據(jù)倉庫中的應(yīng)用【中文摘要】本文的就是針對BP算法的這些局限性,如BP算法的學(xué)習(xí)速率較慢,網(wǎng)絡(luò)會產(chǎn)生部分平坦區(qū),網(wǎng)絡(luò)權(quán)重的誤差變化量在平坦區(qū)的變化幾乎為零,致使整個網(wǎng)絡(luò)的訓(xùn)練過程停止等,通過對算法結(jié)構(gòu)及原理的分析,提出新的改進算法,使新算法較原算法在收斂速度和訓(xùn)練次數(shù)等方面有顯著的提高。文中分別從標(biāo)準(zhǔn)權(quán)重更新公式中加入新的比例因子,并將訓(xùn)練中為常數(shù)的學(xué)習(xí)速率調(diào)整為隨著訓(xùn)練逐漸改變的量,利用增益變化項可以修改本地梯度的同時給每次的迭代訓(xùn)練提供一個改進的梯度搜索方向,及基于擬牛頓法的Levenberg–Marquardt算法三個方向分別改進。在反向傳播算法

2、中,學(xué)習(xí)速率的大小直接影響著整個網(wǎng)絡(luò)的收斂速度。因為學(xué)習(xí)速率和梯度是權(quán)重連接數(shù)變化量的直接影響因素。但是,在標(biāo)準(zhǔn)BP算法中,學(xué)習(xí)速率在網(wǎng)絡(luò)訓(xùn)練開始前已經(jīng)初始化為一個常數(shù)。固定學(xué)習(xí)率的梯度下降法是低效的。因此提出了一種新的高效的方法,讓學(xué)習(xí)速率適時調(diào)整,即第K次網(wǎng)絡(luò)訓(xùn)練的學(xué)習(xí)速率與第K-1次的學(xué)習(xí)速率有關(guān),并在權(quán)值變化公式中在原來兩個影響因子(動量因子和學(xué)習(xí)速率因子)的基礎(chǔ)上加入一個新的比例因子來調(diào)節(jié)每一次迭代所得到的輸出和目標(biāo)的差異,使網(wǎng)絡(luò)的訓(xùn)練更準(zhǔn)確,并且改善了標(biāo)準(zhǔn)算法存在的...【英文摘要】Thepurposeofthispaperisintroductanewimproveda

3、lgorithmthroughtheanalysisofstructureandprincipleandthelimitationsoftheBPalgorithm,SuchaslearningrateisslowofBPalgorithm,thenetworkwillhavesomeflatareas,theweightchangeofthenetworkerrorintheflatareasisalmostzero,whichresultinthetrainingprocessofthewholenetworkstops.Thenewalgorithmisbetterthanth

4、eoriginalalgorithminconvergencespeedandfrequencyoftraining,whichhasimprovedsignificantly.Thepaperfromth...【關(guān)鍵詞】人工神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)比例因子改進共軛梯度法非二次模型牛頓法Levenberg–Marquardt算法【英文關(guān)鍵詞】ArtificialNeuralNetworkBPNeuralNetworkScaleFactorImprovedConjugateGradientMethodNewtonMethodNon-QuadraticModelLevenberg-Marqu

5、ardtAlgorithm【目錄】改進BP算法在數(shù)據(jù)倉庫中的應(yīng)用摘要4-6Abstract6-7第1章引言10-141.1本課題的研究背景和意義10-111.2國內(nèi)外的研究現(xiàn)狀11-121.3本文的主要工作121.4本文的組織結(jié)構(gòu)12-14第2章人工神經(jīng)網(wǎng)絡(luò)14-252.1基于生物神經(jīng)元的人工神經(jīng)網(wǎng)絡(luò)14-162.1.1生物神經(jīng)元模型14-152.1.2人工神經(jīng)網(wǎng)絡(luò)原理及結(jié)構(gòu)15-162.2神經(jīng)網(wǎng)絡(luò)的分類方法16-192.2.1基于網(wǎng)絡(luò)結(jié)構(gòu)的分類方法16-182.2.2其他分類方法18-192.3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則19-202.3.1Hebbian學(xué)習(xí)規(guī)則192.3.2感知器學(xué)習(xí)規(guī)則

6、19-202.3.3反向傳播學(xué)習(xí)規(guī)則202.4BP神經(jīng)網(wǎng)絡(luò)20-252.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)20-212.4.2BP算法的原理分析及數(shù)學(xué)模型21-232.4.3算法程序?qū)崿F(xiàn)23-25第3章針對BP算法局限性的改進25-423.1基于動量與學(xué)習(xí)率結(jié)合的算法優(yōu)化26-333.1.1附加動量法27-283.1.2自適應(yīng)學(xué)習(xí)率283.1.3基于附加動量與自適應(yīng)學(xué)習(xí)率結(jié)合的算法改進28-333.2基于共軛梯度法的算法優(yōu)化33-383.2.1共軛梯度法33-343.2.2優(yōu)化的共軛梯度法34-383.3基于梯度下降法及擬牛頓法的算法優(yōu)化38-423.3.1梯度下降法與擬牛頓法383.3.2優(yōu)化

7、的Levenberg-Marquardt法38-42第4章基于Matlab模型的仿真實驗42-514.1仿真實驗基礎(chǔ)42-444.1.1Matlab神經(jīng)網(wǎng)絡(luò)工具箱424.1.2仿真模型的建立步驟42-444.2優(yōu)化算法的應(yīng)用44-514.2.1基于動量與學(xué)習(xí)率結(jié)合的算法仿真實驗44-474.2.2基于共軛梯度法的仿真實驗47-494.2.3基于梯度法與擬牛頓法的LM算法仿真實驗49-51第5章結(jié)語51-52參考文獻52-54致謝54