《bp神經(jīng)網(wǎng)絡(luò)bp設(shè)計》ppt課件

《《bp神經(jīng)網(wǎng)絡(luò)bp設(shè)計》ppt課件》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第三章前饋人工神經(jīng)網(wǎng)絡(luò)－－誤差反傳（BP）算法的改進(jìn)與BP網(wǎng)絡(luò)設(shè)計3.4基于BP算法的多層前饋網(wǎng)絡(luò)模型三層BP網(wǎng)絡(luò)輸入層隱層輸出層數(shù)學(xué)表達(dá)模型的數(shù)學(xué)表達(dá)輸入向量：X=(x1,x2,…,xi,…,xn)T隱層輸出向量：Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl)各個變量之間如何建立聯(lián)系，來描述整個網(wǎng)絡(luò)？神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)的過

2、程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值乃至拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對可變權(quán)值的動態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。BP算法是一種學(xué)習(xí)規(guī)則BP算法的基本思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號的正向傳播誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號修正各單元權(quán)值BP算法的學(xué)習(xí)過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出

3、與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止建立權(quán)值變化量與誤差之間的關(guān)系輸出層與隱層之間的連接權(quán)值調(diào)整隱層和輸入層之間的連接權(quán)值調(diào)整j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中負(fù)號表示梯度下降，常數(shù)η∈(0,1)表示比例系數(shù)，反映了訓(xùn)練速率?？梢钥闯鯞P算法屬于δ學(xué)習(xí)規(guī)則類，這類算法常被稱為誤差的梯度下降(GradientDescent)算法。BP算法的程序?qū)崿F(xiàn)(1)初始化；(4

4、)計算各層誤差信號；(5)調(diào)整各層權(quán)值；(6)檢查是否對所有樣本完成一次輪訓(xùn)；(7)檢查網(wǎng)絡(luò)總誤差是否達(dá)到精度要求。(2)輸入訓(xùn)練樣本對X?Xp、d?dp計算各層輸出；(3)計算網(wǎng)絡(luò)輸出誤差；BP算法的程序?qū)崿F(xiàn)然后根據(jù)總誤差計算各層的誤差信號并調(diào)整權(quán)值。另一種方法是在所有樣本輸入之后，計算網(wǎng)絡(luò)的總誤差：多層前饋網(wǎng)的主要能力(1)非線性映射能力多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。多層前饋網(wǎng)的主要能力(

5、2)泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3)容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。誤差曲面與BP算法的局限性誤差函數(shù)的可調(diào)整參數(shù)的個數(shù)nw等于各層權(quán)值數(shù)加上閾值數(shù)，即：誤差E是nw+1維空間中一個形狀極為復(fù)雜的曲面，該曲面上的每個點的“高度”對應(yīng)于一個誤差值，每個點的坐標(biāo)向量對應(yīng)著nw個權(quán)值，因此稱這樣的空間為誤差的權(quán)空間。誤差曲面的分布－－BP算法的局限性曲面的分布特點--------算法的局限性(1)存在平坦區(qū)域------

6、--誤差下降緩慢，影響收斂速度(2)存在多個極小點------易陷入局部最小點曲面分布特點1：存在平坦區(qū)域平坦－－誤差的梯度變化?。咏诹愦嬖谄教箙^(qū)域的原因分析接近于零的情況分析造成平坦區(qū)的原因：各節(jié)點的凈輸入過大對應(yīng)著誤差的某個谷點平坦區(qū)曲面分布特點2：存在多個極小點誤差梯度為零多數(shù)極小點都是局部極小，即使是全局極小往往也不是唯一的。單權(quán)值雙權(quán)值曲面分布特點2：存在多個極小點BP算法－－－以誤差梯度下降為權(quán)值調(diào)整原則誤差曲面的這一特點－－－使之無法辨別極小點的性質(zhì)導(dǎo)致的結(jié)果：因而訓(xùn)練經(jīng)常陷入某個局部極小點而不能自拔，從而使訓(xùn)練無法收斂于給定誤差。標(biāo)準(zhǔn)

7、BP算法的改進(jìn)－－引言誤差曲面的形狀－－固有的算法的作用是什么？調(diào)整權(quán)值，找到最優(yōu)點那么如何更好地調(diào)整權(quán)值？利用算法使得權(quán)值在更新的過程中，‘走’合適的路徑，比如跳出平坦區(qū)來提高收斂速度，跳出局部最小點等等如何操作？需要在進(jìn)入平坦區(qū)或局部最小點時進(jìn)行一些判斷，通過改變某些參數(shù)來使得權(quán)值的調(diào)整更為合理。標(biāo)準(zhǔn)的BP算法內(nèi)在的缺陷：⑴易形成局部極小而得不到全局最優(yōu)；⑵訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；⑶隱節(jié)點的選取缺乏理論指導(dǎo)；⑷訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。針對上述問題，國內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中3種較常用的方法。3.5標(biāo)準(zhǔn)BP算

8、法的改進(jìn)改進(jìn)1：增加動量項改進(jìn)2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率改進(jìn)3：引入陡度