資源描述：
《最新標(biāo)準(zhǔn)BP算法及改進(jìn)的BP算法PPT課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、標(biāo)準(zhǔn)BP算法及改進(jìn)的BP算法1.1標(biāo)準(zhǔn)的BP算法BP標(biāo)準(zhǔn)的BP算法是基于梯度下降法，通過(guò)計(jì)算目標(biāo)函數(shù)對(duì)網(wǎng)絡(luò)權(quán)值和閾值的梯度進(jìn)行修正。X(k+1)=X(k)-μΔF(X(K))X(K)為由網(wǎng)絡(luò)所有權(quán)值和閾值所形成的向量；μ為學(xué)習(xí)速率；ΔF(X(K))為目標(biāo)函數(shù)的梯度；標(biāo)準(zhǔn)的BP算法雖然原理簡(jiǎn)單，實(shí)現(xiàn)方便，但由于訓(xùn)練過(guò)程中為一較小的常數(shù)，因而存在收斂速度慢和局部極小的問題。對(duì)于復(fù)雜問題，訓(xùn)練過(guò)程需迭代幾千、幾萬(wàn)次才能收斂到期望的精度。因此，標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)在很大程度上表現(xiàn)出它的不實(shí)用性，特別是對(duì)實(shí)時(shí)性很強(qiáng)的系統(tǒng)。為此就有了各種改進(jìn)算法。訓(xùn)練次3000次的結(jié)果訓(xùn)練7366次的結(jié)果訓(xùn)練結(jié)束后的網(wǎng)絡(luò)誤
2、差記錄1.2附加動(dòng)量法附加動(dòng)量法使網(wǎng)絡(luò)在修正權(quán)值時(shí)不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢(shì)的影響；X(K+1)=Mc(X(K)–X(K–1))–(1-Mc)μΔF(X(K))式中0<=Mc<=1為動(dòng)量因子；附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響通過(guò)一個(gè)動(dòng)量因子來(lái)傳遞。當(dāng)動(dòng)量因子的取值為零時(shí)，權(quán)值的變化僅是根據(jù)梯度下降法產(chǎn)生的。當(dāng)動(dòng)量因子的取值為1時(shí)，新的權(quán)值變化為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。為此當(dāng)增加了動(dòng)量項(xiàng)后，促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化?？稍谝欢ǔ潭壬辖鉀Q局部極小問題，但收斂速度仍然很慢。附加動(dòng)量法的應(yīng)用P=-1:0.1
3、:1T=[-0.96-0.577-0.07290.3770.6410.660.4610.1336-0.201-0.434-0.5-0.393-0.16470.09880.30720.3960.34490.1816-0.0312-0.2183-0.3201];[R,Q]=size(P);[S2,Q]=size(T);S1=5;[W1,B1]=rands(S1,R);[W2,B2]=rands(S2,S1);net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');net.trainParam.epochs=700;net.train
4、Param.mc=0.95;net.trainParam.lr=0.05;net.performFcn='sse';net.trainParam.goal=0.02;[net,tr]=train(net,P,T);Y=sim(net,P);plot(P,T,P,Y,’o’)采用動(dòng)量法時(shí)的訓(xùn)練誤差記錄1.3自適應(yīng)學(xué)習(xí)率調(diào)整法在BP算法中，網(wǎng)絡(luò)權(quán)值的調(diào)整取決于學(xué)習(xí)速率和梯度。在標(biāo)準(zhǔn)BP算法中，學(xué)習(xí)速率是不變的。而在自適應(yīng)學(xué)習(xí)率調(diào)整法中，通常學(xué)習(xí)速率的調(diào)整準(zhǔn)則是：檢查權(quán)值的修正是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說(shuō)明所選的學(xué)習(xí)率小了，可對(duì)其增加一個(gè)量；若不是則說(shuō)明產(chǎn)生了過(guò)調(diào)，那么就應(yīng)減小學(xué)習(xí)
5、速率的值。X(k+1)=X(k)-μ(K)ΔF(X(K))通過(guò)調(diào)整學(xué)習(xí)率μ(K)，從而可得到比標(biāo)準(zhǔn)的BP算法更快的收斂速度。因此，將附加動(dòng)量法和自適應(yīng)學(xué)習(xí)率調(diào)整法兩種策略結(jié)合起來(lái)，既可有效地抑制網(wǎng)絡(luò)陷入局部極小，又有利于縮短學(xué)習(xí)時(shí)間。但上述兩種改進(jìn)方法都是在標(biāo)準(zhǔn)梯度下降法基礎(chǔ)上發(fā)展起來(lái)的，它們只利用了目標(biāo)函數(shù)對(duì)網(wǎng)絡(luò)權(quán)值和閾值的一階導(dǎo)數(shù)信息。因此，當(dāng)用于較復(fù)雜的問題時(shí)，也還存在收斂速度不夠快的問題。自適應(yīng)學(xué)習(xí)速率應(yīng)用P=-1:0.1:1T=[-0.96-0.577-0.07290.3770.6410.660.4610.1336-0.201-0.434-0.5-0.393-0.16470.09
6、880.30720.3960.34490.1816-0.0312-0.2183-0.3201];[R,Q]=size(P);[S2,Q]=size(T);S1=5;[W1,B1]=rands(S1,R);[W2,B2]=rands(S2,S1);net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');net.trainParam.epochs=1000;net.trainParam.lr=0.05;net.trainParam.lr_inc=1.05;net.trainParam.lr_dec=0.7;net.performFc
7、n='sse';net.trainParam.goal=0;[net,tr]=train(net,P,T);Y=sim(net,P);plot(P,T,P,Y,’o’)《基本建設(shè)財(cái)務(wù)管理規(guī)定》講解一、基本建設(shè)財(cái)務(wù)管理辦法（規(guī)定）的歷史沿革二、《基本建設(shè)財(cái)務(wù)管理規(guī)定》頒布實(shí)施的意義1.是國(guó)家財(cái)政管理體制改革的需要2.新的管理規(guī)定制定和實(shí)施有了法律依據(jù)和保障3.基本建設(shè)資金要實(shí)行預(yù)算管理，有利于節(jié)約建設(shè)資金，控制建設(shè)成本，提
