資源描述：
《bp 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究劉彩紅資助項目：西安工業(yè)大學(xué)北方信息工程學(xué)院院長科研基金項目（BXXJJ-1112）作者簡介：劉彩紅(1980-)，女，陜西人，碩士研究生，研究方向為人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用。Email:rainbow_dd@sohu.com手機：13609250662；(西安工業(yè)大學(xué)北方信息工程學(xué)院，西安)摘要：（目的）本文針對BP算法收斂速度慢的問題，提出一種改進的BP算法。（方法）該算法結(jié)合生物神經(jīng)元學(xué)習(xí)與記憶形成的特點，針對特定的訓(xùn)練樣本，只激發(fā)網(wǎng)絡(luò)中的部分神經(jīng)元以產(chǎn)生相應(yīng)的輸出，而未被激發(fā)的神經(jīng)元產(chǎn)生的輸出則與目標輸出相差較大，那么我們只需要對未被激發(fā)的神
2、經(jīng)元權(quán)值閾值進行調(diào)整。利用距離來度量訓(xùn)練樣本與神經(jīng)元權(quán)值之間的關(guān)系，可以找到未被激發(fā)的神經(jīng)元。所以本論文提出的算法是對局部神經(jīng)元權(quán)值閾值的調(diào)整，（結(jié)果）通過實驗表明該算法有助于加快網(wǎng)絡(luò)的學(xué)習(xí)速度。關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)算法，距離，權(quán)值閾值調(diào)整TheStudyofAlgorithmofBPNeuralNetworkLIUCai-hong(Xi’anTechnologicalUniversityNorthInstituteofInformationEngineering，Xi’anChina)Abstract:ThepaperproposedanimprovedBPalg
3、orithm.Accordingtothecharacteristicsofbiologicalneuroninlearningandmemoryformation,onlysomeneuronswerestimulatedtoproducetheoutputforthespecifictrainingsamples,whiletheotherpartoftheneuronsweren’tstimulated.Therearelargedifferencebetweenthispartoftheneuron’soutputandtarget,andthenweneedth
4、ispartneuronsweightandthresholdvaluetoadjust.Usetomeasurethedistancefromthetrainingsampleandtherelationshipbetweentheweightsofeachneuron,canfindnotstimulatedneurons.Thereforethealgorithmproposedinthispaperonlyadjusttheweightandthethresholdvalueofthelocalneurons,andthiscanacceleratethelear
5、ningspeedofthenetwork.Keywords:BPNeuralNetwork,LearningAlgorithm,,Distance,WeightandThresholdAdjustment1引言傳統(tǒng)BP算法是一種利用實際輸出與期望輸出之間的誤差對網(wǎng)絡(luò)的各層連接權(quán)值和各結(jié)點的閾值由后向前逐層進行校正的一種監(jiān)督式學(xué)習(xí)方法。它根據(jù)最小二乘原理和梯度搜索技術(shù)，將學(xué)習(xí)過程分為輸入樣本的正向傳播和誤差的反向傳播兩個階段。輸入樣本從輸入層傳遞給隱藏層各結(jié)點，經(jīng)過各隱藏層用激勵函數(shù)逐層處理后傳遞給輸出層，若輸出層的實際輸出與期望輸出的誤差達不到預(yù)定要求，則將誤差沿著原連
6、接通路反向傳播，同時根據(jù)誤差來調(diào)整各層的連接權(quán)值和閾值，使實際輸出與期望輸出的誤差逐漸減小。傳統(tǒng)BP（BackPropagation）算法的性能依賴于初始條件，學(xué)習(xí)速度慢，學(xué)習(xí)過程易陷入局部極小。近年來，人們根據(jù)實際應(yīng)用的需要對傳統(tǒng)BP算法做了許多改進，主要有采用自適應(yīng)學(xué)習(xí)率、與遺傳算法結(jié)合[1-2]和可調(diào)隱層結(jié)構(gòu)[3-4]等，這些方法在一定程度上優(yōu)化了BP算法。但以往大多改進算法，在誤差的反向傳播階段也就是訓(xùn)練的第二階段，是對所有神經(jīng)元的權(quán)值閾值都進行修改的。針對不同的輸入，神經(jīng)網(wǎng)絡(luò)激發(fā)不同的神經(jīng)元，所以可以在訓(xùn)練的第二階段修改部分神經(jīng)元的權(quán)值閾值。但本文對此的研究目前
7、僅限于只有一個隱層的BP神經(jīng)網(wǎng)絡(luò)。2基于局部權(quán)值閾值調(diào)整算法的改進思想神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程，實際上是根據(jù)一定的學(xué)習(xí)算法調(diào)節(jié)網(wǎng)絡(luò)中各連接權(quán)值的過程。這是因為，神經(jīng)網(wǎng)絡(luò)是通過神經(jīng)元之間的連接，來存儲信息或知識的[6]。也就是說，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的知識是存儲在連接權(quán)上的。并且依據(jù)生物神經(jīng)元學(xué)習(xí)與記憶形成的特點[5]，針對特定的訓(xùn)練樣本，只激發(fā)網(wǎng)絡(luò)中的部分神經(jīng)元以產(chǎn)生相應(yīng)的輸出，而未被激發(fā)的神經(jīng)元產(chǎn)生的輸出則與目標輸出相差較大，那么我們就需要對未被激發(fā)的神經(jīng)元的權(quán)值閾值進行調(diào)整。對于一個神經(jīng)元是否被激發(fā)，可以通過訓(xùn)練樣本和該神經(jīng)元權(quán)值之
