資源描述：
《前饋型神經(jīng)網(wǎng)絡(luò)算法優(yōu)化分析》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、前饋型神經(jīng)網(wǎng)絡(luò)算法優(yōu)化分析摘要文章介紹了人工神經(jīng)網(wǎng)絡(luò)的模型，分別以BP神經(jīng)網(wǎng)絡(luò)為例介紹了前饋神經(jīng)網(wǎng)絡(luò)，并用三種方法對(duì)BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行優(yōu)化改進(jìn)。關(guān)鍵詞神經(jīng)網(wǎng)絡(luò)；BP；優(yōu)化算法中圖分類號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1671-7597（2014）13-0066-011人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)簡稱ANN，它是一種將人類大腦的組織結(jié)構(gòu)和運(yùn)行機(jī)制作為其研究基礎(chǔ)來模擬人類大腦內(nèi)部結(jié)構(gòu)和其智能行為的處理系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元細(xì)胞將其接收到的所有信號(hào)進(jìn)行處理，如加權(quán)求和等操作，進(jìn)行操作后經(jīng)軸突輸出。2人工神
2、經(jīng)網(wǎng)絡(luò)的分類2.1前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)通過對(duì)其網(wǎng)絡(luò)中的神經(jīng)元之間的連接關(guān)系進(jìn)行復(fù)合映射，因此這種網(wǎng)絡(luò)模型具有非常強(qiáng)的非線性處理的能力。如圖1所示，在這里前饋型神經(jīng)網(wǎng)絡(luò)模型被分為三層，分別為輸入層、輸出層和隱含層，一般常用的前饋型神經(jīng)網(wǎng)絡(luò)有BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)等。圖1前向神經(jīng)網(wǎng)絡(luò)模型52.2反饋型神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)其結(jié)構(gòu)，在這個(gè)模型中我們假設(shè)網(wǎng)絡(luò)總的神經(jīng)元個(gè)數(shù)為N，則每個(gè)神經(jīng)元節(jié)點(diǎn)都有N個(gè)輸入值及一個(gè)輸出值，每個(gè)神經(jīng)元節(jié)點(diǎn)都如此，節(jié)點(diǎn)之間相互聯(lián)系。現(xiàn)在被大量使用的反饋型神經(jīng)網(wǎng)絡(luò)
3、一般有離散Hopfield神經(jīng)網(wǎng)絡(luò)模型、Elman神經(jīng)網(wǎng)絡(luò)模型等等。3BP神經(jīng)網(wǎng)絡(luò)3.1BP神經(jīng)網(wǎng)絡(luò)簡介1986年，Rumelhant和McCelland提出了BP神經(jīng)網(wǎng)絡(luò)的一般模型，BP神經(jīng)網(wǎng)絡(luò)是一種具有多層網(wǎng)絡(luò)的反向傳播學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)模型的基本思想是：整個(gè)過程主要由信號(hào)的正向傳播和誤差的反向傳播兩個(gè)過程組成。目前，BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍為數(shù)據(jù)壓縮、數(shù)據(jù)分類、預(yù)測(cè)分析和模式識(shí)別等領(lǐng)域。3.2BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示，這里是BP神經(jīng)網(wǎng)絡(luò)的一種模型結(jié)構(gòu)，在這種模型結(jié)構(gòu)中輸入信號(hào)量為m，具有隱含層的數(shù)量
4、為j，輸出信號(hào)量為q的模型結(jié)構(gòu)。BP神經(jīng)網(wǎng)絡(luò)一般具有一個(gè)或多個(gè)隱含層單元，其差別主要體現(xiàn)在激活函數(shù)的不同。針對(duì)BP神經(jīng)網(wǎng)絡(luò)所使用的激活函數(shù)一圖2BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)5般采用S型對(duì)數(shù)函數(shù)或者采用正切激活函數(shù)，而輸出層則一般采用線性函數(shù)作為激活函數(shù)。3.3BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)方法BP神經(jīng)網(wǎng)絡(luò)作為當(dāng)今對(duì)研究電力負(fù)荷預(yù)測(cè)應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)，但標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)算法存在的一些缺陷，這里就對(duì)一些經(jīng)常使用的典型改進(jìn)方法進(jìn)行描述。1）增加動(dòng)量項(xiàng)。在一般的BP神經(jīng)網(wǎng)絡(luò)算法中，其模型中的各層權(quán)值在進(jìn)行更新的過程中，是按照t時(shí)刻誤
5、差曲線進(jìn)行梯度下降方式進(jìn)行調(diào)整的，在這里并沒有考慮其之間的梯度下降的方向，如果使用這種方式進(jìn)行調(diào)整則會(huì)造成訓(xùn)練的過程不穩(wěn)定，容易發(fā)生振蕩，導(dǎo)致收斂過程緩慢的結(jié)果。因此有些學(xué)者就為了使網(wǎng)絡(luò)訓(xùn)練的速度提高，收斂過程加快，就在一般網(wǎng)絡(luò)模型的權(quán)值更新環(huán)節(jié)添加了一個(gè)動(dòng)量項(xiàng)因子即：（1）在這個(gè)式子中，W表示BP神經(jīng)網(wǎng)絡(luò)中每一層的權(quán)值矩陣，O則表示神經(jīng)網(wǎng)絡(luò)中每一層的輸出向量矩陣，α則被稱為該神經(jīng)網(wǎng)絡(luò)的動(dòng)量系數(shù)因子，其取值范圍在0到1之間，在該網(wǎng)絡(luò)在進(jìn)行訓(xùn)練的過程中，如果其誤差梯度網(wǎng)線出現(xiàn)了局部極小值現(xiàn)象，雖然在這里的第一項(xiàng)會(huì)
6、趨摟于零，但是這一項(xiàng)，5這樣就會(huì)使該訓(xùn)練過程避免了限入局部極小值區(qū)域的形勢(shì)，從而加快了其訓(xùn)練速度，使該神經(jīng)網(wǎng)絡(luò)收斂速度加快，因此這種帶有動(dòng)量項(xiàng)因子的BP神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到了很多的BP網(wǎng)絡(luò)中。2）學(xué)習(xí)速度的自適應(yīng)調(diào)節(jié)方法。學(xué)習(xí)速度η在一個(gè)標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)中是以一個(gè)常數(shù)出現(xiàn)的我們也稱為之步長，而在實(shí)際的運(yùn)算過程中，很難找到一個(gè)數(shù)值作為最優(yōu)學(xué)習(xí)速度。我們從誤差曲面圖形中可以看出，當(dāng)曲面中區(qū)域處于一個(gè)平坦區(qū)域時(shí)，我們需要設(shè)置一個(gè)比較大的η值，使它能夠跳出這個(gè)平坦的區(qū)域；而當(dāng)曲面中的區(qū)域處于變化比較很大的區(qū)域時(shí)，這時(shí)的
7、η的數(shù)值我們又需要將其進(jìn)行減小或者增大操作。自適應(yīng)調(diào)整學(xué)習(xí)速度η則可以根據(jù)網(wǎng)絡(luò)的總誤差來進(jìn)行自我調(diào)整，在網(wǎng)絡(luò)經(jīng)過多次調(diào)整后，如果E總繼續(xù)上升，則表明這里的調(diào)整是無效的，且η=βη，；而經(jīng)常調(diào)整這里的E總下降了，則表明這里的調(diào)整是有效果的，且η=αη，。3）引入陡度因子（防止飽和）。在網(wǎng)絡(luò)訓(xùn)練的過程中，由于其誤差曲面具有平坦區(qū)，當(dāng)處于這個(gè)區(qū)域時(shí)，由于S型激活函數(shù)有飽和特性，促使權(quán)值的調(diào)整速度放慢，從而影響了調(diào)整的速度。在訓(xùn)練的過程中，如果算法調(diào)整進(jìn)入了這個(gè)區(qū)域，我們可以減小神經(jīng)元的輸入量，使其輸出值迅速脫離激活函
8、數(shù)的飽和區(qū)域，這里誤差函數(shù)的數(shù)值則會(huì)隨之發(fā)生改變，其權(quán)值的調(diào)整也就脫離了該平坦區(qū)。想要實(shí)現(xiàn)以上思路則需要在激活函數(shù)中引入一個(gè)陡度因子λ。5（2）當(dāng)趨近于0時(shí)，而數(shù)值較大時(shí)，調(diào)整其進(jìn)入誤差曲面中的平坦區(qū)，此時(shí)λ的值應(yīng)選擇大于1的數(shù)值；而當(dāng)調(diào)整脫離平坦區(qū)域后，再設(shè)置λ大于1，使激活函數(shù)能夠恢復(fù)到原始數(shù)值。4總結(jié)綜上所述，設(shè)計(jì)一個(gè)人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到實(shí)際問題中，可以歸結(jié)為網(wǎng)絡(luò)自身權(quán)值參數(shù)的學(xué)習(xí)
