大樣本法確定bp網(wǎng)絡(luò)結(jié)構(gòu)

《大樣本法確定bp網(wǎng)絡(luò)結(jié)構(gòu)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、§8.6大樣本法確定BP網(wǎng)絡(luò)結(jié)構(gòu)8.6.1隱含層節(jié)點(diǎn)數(shù)的確定定義1：設(shè)將樣本分為兩部分即，則有（8-66）式中，是訓(xùn)練樣本的平均值，是n個(gè)樣本的平均值；是n1個(gè)訓(xùn)練樣本的方差，是n2個(gè)監(jiān)測(cè)樣本的方差。定義2：取隱含層節(jié)點(diǎn)數(shù)為L(zhǎng)，用n1個(gè)樣本訓(xùn)練好網(wǎng)絡(luò)后，計(jì)算樣本訓(xùn)練誤差，然后用n2個(gè)樣本進(jìn)行檢測(cè)計(jì)算樣本檢測(cè)誤差，如果，二者相等，則L為三層BP網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的優(yōu)化值。8.6.2計(jì)算步驟應(yīng)用大樣本確定BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的計(jì)算步驟如下：（1）按照隨機(jī)先后去原則，將樣本分為相等的兩個(gè)部分，其一部分作為訓(xùn)練樣本，另一部分作為檢測(cè)樣本。（2）置隱

2、含層節(jié)點(diǎn)數(shù)L為L(zhǎng)0，增加量為d，并對(duì)網(wǎng)絡(luò)初始化，給定網(wǎng)絡(luò)學(xué)習(xí)參數(shù)初始值。（3）對(duì)輸入層節(jié)點(diǎn)和隱含層節(jié)點(diǎn)間權(quán)重值及隱含層節(jié)點(diǎn)間權(quán)重值賦隨機(jī)初值得到初始權(quán)矩陣。（4）用BP網(wǎng)絡(luò)智能訓(xùn)練算法來訓(xùn)練網(wǎng)絡(luò)，直至學(xué)習(xí)精度達(dá)到要求或者超出規(guī)定的迭代步數(shù)。（5）若在規(guī)定的步數(shù)之內(nèi)訓(xùn)練樣本誤差達(dá)到了學(xué)習(xí)的精度要求，轉(zhuǎn)到步驟6；若達(dá)到規(guī)定的迭代步數(shù)時(shí)，網(wǎng)絡(luò)任然不收斂，給隱含層節(jié)點(diǎn)增加d個(gè)節(jié)點(diǎn)并保持原來的L0個(gè)隱含層節(jié)點(diǎn)的輸入、輸出權(quán)值和參數(shù)值不變隨機(jī)初始化增加的d個(gè)節(jié)點(diǎn)的參數(shù)和權(quán)值；重置L轉(zhuǎn)到步驟4。（6）按照極差正規(guī)化方法，將檢測(cè)樣本進(jìn)行數(shù)值歸一化處理

3、后變?yōu)閇0.1,0.9]區(qū)間內(nèi)，然后將檢測(cè)樣本輸入訓(xùn)練后的網(wǎng)絡(luò)，計(jì)算樣本檢測(cè)誤差。（7）若樣本的檢測(cè)誤差和訓(xùn)練誤差在允許范圍內(nèi)，轉(zhuǎn)到步驟8；否則給隱含層節(jié)點(diǎn)增加d個(gè)節(jié)點(diǎn)，并保持原來L0個(gè)隱含層節(jié)點(diǎn)的輸入與輸出值和參數(shù)保持不變，隨機(jī)增加d個(gè)節(jié)點(diǎn)后，重置節(jié)點(diǎn)數(shù)，轉(zhuǎn)到步驟4。（8）按照8.4節(jié)講的相關(guān)系數(shù)法，檢測(cè)隱含層節(jié)點(diǎn)的線性相關(guān)性，進(jìn)行隱含層節(jié)點(diǎn)的刪除和合并，并且獲取隱含層最佳節(jié)點(diǎn)數(shù)，結(jié)束網(wǎng)絡(luò)訓(xùn)練。§8.7訓(xùn)練樣本的質(zhì)量對(duì)BP網(wǎng)絡(luò)推廣能力的影響8.7.1預(yù)報(bào)誤差和訓(xùn)練樣本質(zhì)量之間的關(guān)系實(shí)際系統(tǒng)可以描述為理想函數(shù)（8-71）上式，也可以寫

4、成自回歸的形式（8-72）人工神經(jīng)網(wǎng)絡(luò)是一種非線性自回歸模型（8-73）BP網(wǎng)絡(luò)預(yù)報(bào)的誤差可以估計(jì)為（8-74）和的存在是不可避免的，而可由式（8-72）和式（8-73）作出如下估計(jì)（8-75）式中，為函數(shù)誤差，也就是式（8-72）和式（8-73）間的差異引起的誤差；為由不正確的嵌入維數(shù)引起的誤差，它可以通過選擇合適的輸入神經(jīng)元數(shù)來消除。（8-76）在BP網(wǎng)絡(luò)預(yù)報(bào)中，是由網(wǎng)絡(luò)中結(jié)點(diǎn)間的連接權(quán)值決定的，而權(quán)值又是BP網(wǎng)絡(luò)通過對(duì)訓(xùn)練樣本的學(xué)習(xí)得到。8.7.2一致度為了評(píng)價(jià)訓(xùn)練樣本質(zhì)量，我們基于范數(shù)提出“一致度”的指標(biāo)。這種一致度指標(biāo)被稱為

5、偽距離一致度，并定義（8-78）為了簡(jiǎn)便地評(píng)價(jià)樣本矢量，可用一些統(tǒng)計(jì)指標(biāo)定義一致度指標(biāo)。（1）均值一致度基于統(tǒng)計(jì)均值定義的DCT指標(biāo)稱作均值一致度（8-80）（8-81）式中，為檢測(cè)樣本的均值一致度；為預(yù)報(bào)樣本的均值一致度；為檢測(cè)樣本的均值；為待預(yù)測(cè)樣本的均值；為訓(xùn)練樣本的均值。均值一致度反映了訓(xùn)練樣本空間和檢測(cè)樣本空間重心的距離。它可被用于評(píng)價(jià)訓(xùn)練樣本質(zhì)量。（2）方差一致度方差一致度可用同樣的方法定義。（8-82）（8-83）式中，為檢測(cè)樣本的方差一致度；為預(yù)報(bào)樣本的方差一致度；為檢測(cè)樣本的方差均值；為預(yù)報(bào)樣本的方差均值；為訓(xùn)練樣本

6、的方差均值。式（8-82）反映了訓(xùn)練樣本和檢測(cè)樣本分部之間的距離，式（8-83）反映了訓(xùn)練樣本和預(yù)報(bào)樣本之間的距離。方差一致度反映了訓(xùn)練樣本和檢測(cè)樣本分布之間的距離?！?.8BP網(wǎng)絡(luò)的推廣能力及網(wǎng)絡(luò)性能的評(píng)估8.8.1樣本數(shù)的確定及劃分由于過程的變形觀測(cè)資料具有很強(qiáng)的時(shí)效性，其樣本數(shù)據(jù)不同于模式分類或故障診斷類樣本，因此，將樣本分為3部分。（1）訓(xùn)練樣本：用于網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)和權(quán)值訓(xùn)練。（2）學(xué)習(xí)檢測(cè)樣本：用于檢測(cè)網(wǎng)絡(luò)的學(xué)習(xí)效果，在訓(xùn)練過程中，網(wǎng)絡(luò)定期對(duì)檢測(cè)樣本進(jìn)行測(cè)試，得到樣本檢測(cè)誤差。（3）預(yù)報(bào)檢測(cè)樣本：對(duì)于訓(xùn)練好的網(wǎng)絡(luò)，輸入預(yù)報(bào)樣

7、本，得到該網(wǎng)絡(luò)的預(yù)報(bào)殘差。8.8.2BP網(wǎng)絡(luò)的推廣性能及其評(píng)估網(wǎng)絡(luò)訓(xùn)練的目的是為了應(yīng)用網(wǎng)絡(luò)對(duì)新觀測(cè)值進(jìn)行預(yù)報(bào)，評(píng)價(jià)一個(gè)網(wǎng)絡(luò)的性能好壞可以用網(wǎng)絡(luò)的推廣性能的強(qiáng)弱來衡量。尤其是應(yīng)用于BP網(wǎng)絡(luò)進(jìn)行過程的變形分析和預(yù)報(bào)?？捎镁C合均方根差E評(píng)估網(wǎng)絡(luò)推廣性能，E值定義如下（8-84）E值越小，表示網(wǎng)絡(luò)性能越好，網(wǎng)絡(luò)的推廣性能越強(qiáng)。其中、、分別為訓(xùn)練樣本、檢測(cè)樣本和預(yù)報(bào)樣本的均方根差，定義如下（8-85）（8-86）（8-87）式中，P1、P2、P3分別為訓(xùn)練樣本、檢測(cè)樣本和預(yù)報(bào)樣本的個(gè)數(shù)；M為BP網(wǎng)絡(luò)輸出層節(jié)點(diǎn)個(gè)數(shù)；為第i個(gè)輸出第p個(gè)樣本的計(jì)算輸

8、出值；為第i個(gè)輸出理想值。由上述定義可知，用綜合均方差E來衡量地評(píng)估網(wǎng)絡(luò)推廣性能，它即兼顧了網(wǎng)絡(luò)訓(xùn)練樣本的擬合精度，有考慮了檢測(cè)樣本和預(yù)報(bào)樣本的監(jiān)測(cè)和預(yù)報(bào)精度。8.8.3網(wǎng)絡(luò)訓(xùn)練收斂性標(biāo)準(zhǔn)在BP網(wǎng)絡(luò)的訓(xùn)練過程中，如果同一