BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)和MATLAB實(shí)現(xiàn).ppt

《BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)和MATLAB實(shí)現(xiàn).ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。

1、改進(jìn)BP神經(jīng)網(wǎng)絡(luò)與MATLAB實(shí)現(xiàn)江西師范大學(xué)2012.6.111：BP神經(jīng)網(wǎng)絡(luò)的概述2：BP神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)訓(xùn)練學(xué)習(xí)3：在MATLAB軟件上運(yùn)行幾個(gè)程序4：基于Levenberg-Marquardt算法的學(xué)習(xí)優(yōu)化（阻尼最小二乘法）5：基于蟻群算法的初始權(quán)值優(yōu)化6：經(jīng)過4和5優(yōu)化后的仿真試驗(yàn)（發(fā)動(dòng)機(jī)性能趨勢(shì)分析和故障診斷中的應(yīng)用）7：總結(jié)多元函數(shù)圖示一元函數(shù)X.R二元函數(shù)xyoR.fD.f.三元函數(shù)xyzo.R.fXXI矩形的面積S=x×y長方體體積V=x×y×z多元函數(shù)圖示xR..多元函數(shù)及其圖形多元函數(shù)及其圖形

2、BP神經(jīng)網(wǎng)絡(luò)模型激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù)使用S型激活函數(shù)時(shí)BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出BP神經(jīng)網(wǎng)絡(luò)模型輸出的導(dǎo)數(shù)根據(jù)S型激活函數(shù)的圖形可知,對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個(gè)神經(jīng)元，隱含層有p個(gè)神經(jīng)元,輸出層有q個(gè)神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個(gè)數(shù):激活函數(shù):誤差函數(shù)：第一步

3、，網(wǎng)絡(luò)初始化給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第個(gè)輸入樣本及對(duì)應(yīng)期望輸出第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸出第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)第六步，利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權(quán)值第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。第八步，計(jì)算全局誤差第九步，判

4、斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。BP算法直觀解釋情況1的直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)大于零時(shí)，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。whoe>0，此時(shí)Δwho<0BP算法直解釋情況2的直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)小于零時(shí)，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。e<0,此時(shí)Δwho>0who

5、梯度下降法一、無約束優(yōu)化的古典分析法無約束優(yōu)化問題可表示為minf(x1,x2,…,xn)xi?R，i=1,2,…,n如果令x=(x1,x2,…,xn)T，則無約束優(yōu)化問題為minf(x)x?Rn關(guān)于f(x)：當(dāng)x=(x)時(shí)，f(x)是一條曲線；當(dāng)x=(x1,x2)T時(shí)，f(x1,x2)是一個(gè)曲面；當(dāng)x=(x1,x2,x3)T時(shí)，f(x1,x2,x3)是一個(gè)體密度(或類位勢(shì)函數(shù))；當(dāng)x=(x1,x2,…,xn)T時(shí)，f(x1,x2,…,xn)是一個(gè)超曲面。設(shè)函數(shù)f(x)=f(x1,...,xn)對(duì)所有變?cè)加幸浑A

6、與二階連續(xù)偏導(dǎo)數(shù)，則①稱n個(gè)一階偏導(dǎo)數(shù)構(gòu)成的n維列向量為f.(x)的梯度，記作②稱滿足?f(x0)=0的點(diǎn)x0為函數(shù)f(x)的駐點(diǎn)或臨界點(diǎn)。③稱n2個(gè)二階偏導(dǎo)數(shù)構(gòu)成的n階對(duì)稱矩陣為函數(shù)f(x)的海森(Hessian)矩陣，記為H(x)或?2f(x)：綜上所述，多元函數(shù)f(x)=f(x1,x2,…,xn)的一階導(dǎo)數(shù)是它的梯度?f.(x)，二階導(dǎo)數(shù)是它的Hessian矩陣?2f(x)。在最優(yōu)化方法的討論中這是兩個(gè)常用的概念。定理(最優(yōu)性條件)設(shè)n元函數(shù)y=f(x)對(duì)所有變?cè)哂幸浑A及二階連續(xù)偏導(dǎo)數(shù)，則x0是f(x)極

7、小點(diǎn)的充分條件為?f(x0)=0，?2f(x0)>0(正定)而x0是f(x)極大點(diǎn)的充分條件為?f(x0)=0，?2f(x0)<0(負(fù)定)事實(shí)上，如果設(shè)?x=(?x1,…,?xn)T，則利用多元函數(shù)的泰勒展開式，我們有其中R為?x的高階無窮小，即R=o

8、

9、?x

10、

11、2。于是，當(dāng)x0為函數(shù)f.(x)的駐點(diǎn)時(shí)可以得到于是，當(dāng)?xi(i=1,…,n)足夠小時(shí)，上式右端的正負(fù)號(hào)完全由二次型?xT?2f(x0)?x決定，從而完全由Hessian矩陣?2f(x)的正(負(fù))定性決定。注記：微積分中求一元函數(shù)和二元函數(shù)極值的方法，

12、是這個(gè)定理的特例。二、無約束優(yōu)化的梯度下降法對(duì)于無約束優(yōu)化問題minf(x)(1)x=(x1,x2,…,xn)T?Rn如果f(x)可微，根據(jù)古典分析的方法，可利用?f(x)=0(2)求駐點(diǎn)，然后再利用Hessian矩陣?2f.(x)來判定這些駐點(diǎn)是否極小值點(diǎn)，從而求出無約束優(yōu)化問題(1)的最優(yōu)解。但是，用古典分析的方法求解無約束優(yōu)化問題(1)實(shí)際上是行不通的，這是由于：(