第三講人工神經(jīng)網(wǎng)絡(luò)(BP算法)ppt課件.ppt

《第三講人工神經(jīng)網(wǎng)絡(luò)(BP算法)ppt課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、第4節(jié)BP網(wǎng)絡(luò)第三講人工神經(jīng)網(wǎng)絡(luò)BP—BackPropagation(反向傳播）LinearlySuperviseFeedforwardThelocationofperceptronVirtuesofPerceptronsEasytolearnanduseMoreinput-outputpairtouseLimitationsofPerceptronsSingle-layerperceptronscannotsolveproblemsthatarelinearlyinseparable(e.g.,XOR)Mostinterestingproblemsa

2、relinearlyinseparableNeedlongerlearntime第4節(jié)BP網(wǎng)絡(luò)概述基本BP算法算法的改進(jìn)算法的實(shí)現(xiàn)算法的理論基礎(chǔ)幾個(gè)問(wèn)題的討論1。BP算法的出現(xiàn)UCSDPDP小組的Rumelhart、Hinton和Williams1986年獨(dú)立地給出了BP算法清楚而簡(jiǎn)單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2。弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問(wèn)題、算法不一定收斂。3。優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性。4.1概述一、簡(jiǎn)介BP算法即反向傳播算法，有時(shí)也稱為BP模型；BP算法是為了解決多層前向神經(jīng)

3、網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來(lái)的，通常暗示著神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種無(wú)反饋的多層前向網(wǎng)絡(luò);算法可以對(duì)網(wǎng)絡(luò)中各層的權(quán)系數(shù)進(jìn)行修正，故適用于多層網(wǎng)絡(luò)的學(xué)習(xí);BP算法是目前最廣泛用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一，在自動(dòng)控制中是最有用的學(xué)習(xí)算法。4.1概述一、簡(jiǎn)介x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)4.1概述二、BP網(wǎng)的拓?fù)浣Y(jié)構(gòu)BP網(wǎng)絡(luò)含有輸入層、輸出層以及處于輸入輸出層之間的中間層；中間層有單層或多層，由于它們和外界沒(méi)有直接的聯(lián)系，故也稱為隱層；隱層雖然和外界不連接，但它們的狀態(tài)影響輸入輸出之間的關(guān)系。改變隱層的權(quán)系數(shù)，

4、可以改變整個(gè)多層神經(jīng)網(wǎng)絡(luò)的性能。Xik=f(Uik)4.1概述二、BP網(wǎng)的拓?fù)浣Y(jié)構(gòu)輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)如何決定?實(shí)驗(yàn)表明：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。4.1概述二、BP網(wǎng)的拓?fù)浣Y(jié)構(gòu)0.5f′(net)0.25o011（0,0.5）net（0,0）o應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)；可以用其它的函數(shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的。4.1概述三、激活函數(shù)4.2BP網(wǎng)的學(xué)習(xí)算法一、BP算法的訓(xùn)練過(guò)程概述neti=x1w1i+x2

5、w2i+…+xnwni神經(jīng)元的輸出：神經(jīng)元的網(wǎng)絡(luò)輸入：4.2BP網(wǎng)的學(xué)習(xí)算法一、BP算法的訓(xùn)練過(guò)程概述BP訓(xùn)練基本過(guò)程：樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機(jī)數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)。1、向前傳播階段：（1）從樣本集中取一個(gè)樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計(jì)算相應(yīng)的實(shí)際輸出Op：Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))4.2BP網(wǎng)的學(xué)習(xí)算法一、BP算法的訓(xùn)練過(guò)程概述BP訓(xùn)練基本過(guò)程：2、向后傳播階段——誤差傳播階段：（1）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整

6、權(quán)矩陣。（3）網(wǎng)絡(luò)關(guān)于第p個(gè)樣本的誤差測(cè)度：（4）網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度：4.2BP網(wǎng)的學(xué)習(xí)算法二、BP算法原理設(shè)有一個(gè)m層的神經(jīng)網(wǎng)絡(luò)，并在輸入層加有樣本X；設(shè)第k層的第i個(gè)神經(jīng)元的輸入總和表示為Uik，輸出Xik；從第k-1層的第j個(gè)神經(jīng)元到第k層的第i個(gè)神經(jīng)元的權(quán)系數(shù)為Wij，各個(gè)神經(jīng)元的激發(fā)函數(shù)為f，則各個(gè)變量的關(guān)系可用下面的數(shù)學(xué)式表示：（一）前饋多層網(wǎng)絡(luò)x1o1x2o2omxn…………………K層K-1層UikXikWi1X2k-1X1k-1Xnk-1Wi2Win4.2BP網(wǎng)的學(xué)習(xí)算法二、BP算法原理（二）BP算法的基本思路1．正向傳播輸入

7、的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。2．反向傳播反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以期望誤差信號(hào)趨向最小。BP算法分二步進(jìn)行:正向傳播和反向傳播。4.2BP網(wǎng)的學(xué)習(xí)算法二、BP算法原理（三）BP算法的數(shù)學(xué)表達(dá)BP算法實(shí)質(zhì)是求取誤差函數(shù)的最小值問(wèn)題。BP算法采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負(fù)梯

8、度方向修改權(quán)系數(shù)。wijE>0，此時(shí)Δwij<0取E<0,此時(shí)Δwij>0wij最速下降法，要