BP神經(jīng)網(wǎng)絡(luò)介紹課件.ppt

BP神經(jīng)網(wǎng)絡(luò)介紹課件.ppt

ID:57222301

大?。?.86 MB

頁數(shù):18頁

時間:2020-08-04

BP神經(jīng)網(wǎng)絡(luò)介紹課件.ppt_第1頁
BP神經(jīng)網(wǎng)絡(luò)介紹課件.ppt_第2頁
BP神經(jīng)網(wǎng)絡(luò)介紹課件.ppt_第3頁
BP神經(jīng)網(wǎng)絡(luò)介紹課件.ppt_第4頁
BP神經(jīng)網(wǎng)絡(luò)介紹課件.ppt_第5頁
資源描述:

《BP神經(jīng)網(wǎng)絡(luò)介紹課件.ppt》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫

1、第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)研16電子陳晨2017.4.11第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)4.1誤差反向網(wǎng)絡(luò)的提出4.2BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)基本思想4.3BP神經(jīng)網(wǎng)絡(luò)處理的單元模型4.4BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法4.5BP網(wǎng)絡(luò)的分析--梯度下降學(xué)習(xí)方法4.6BP人工神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)4.1誤差反向網(wǎng)絡(luò)的提出1986年,Romelhart和McCelland提出了誤差反向傳播算法(ErrorBackPropagationAlgorithm,簡稱BP算法),由于多層前饋網(wǎng)絡(luò)的訓(xùn)練經(jīng)常采用誤差反向傳播算法,所以人們也常把多層前饋網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。BP算法采用非線性連續(xù)變

2、換函數(shù),使隱含層神經(jīng)元具有了學(xué)習(xí)能力。其基本思想直觀、易于理解,數(shù)學(xué)意義明確、步驟分明,所以BP網(wǎng)絡(luò)成為目前應(yīng)用最廣的神經(jīng)網(wǎng)絡(luò)。183第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)4第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)修改權(quán)值閾值教師信號4.2BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)基本思想184.2BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)基本思想BP算法的主要思想是把訓(xùn)練過程分為兩個階段:第一階段(正向傳播過程)給出輸入信息通過輸入層經(jīng)隱含層逐層處理并計算每個單元的實(shí)際輸出值。第二階段(反向傳播過程)若在輸出層不能得到期望的輸出值,那么逐層遞歸地計算實(shí)際輸出與期望輸出之差值,以便根據(jù)差值調(diào)節(jié)權(quán)值。185第四章誤差反向傳播神

3、經(jīng)網(wǎng)絡(luò)4.3BP神經(jīng)網(wǎng)絡(luò)處理的單元模型186第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)w1jx1jw2jx2θjxnwnjyj閾值θj的作用反應(yīng)在s型生長曲線上是使曲線向右平移θj個單位,在BP網(wǎng)絡(luò)里它起到了神經(jīng)元興奮水平的作用。187第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)4.3BP神經(jīng)網(wǎng)絡(luò)處理的單元模型Sigmoid函數(shù)的一階導(dǎo)數(shù):4.4BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法三層前饋網(wǎng)中:輸入模式k向量為X=(x1,x2,?,xn)T,對應(yīng)輸入模式k的期望輸出向量為Y=(y1,y2,?,yq)T;中間隱含層的凈輸入向量為S=(s1,s2,?,sp)T,輸出向量為B=(b1,b2,?,bp)T

4、;輸出層凈輸入向量L=(l1,l2,?,lq)T,實(shí)際輸出向量C=(c1,c2,?,cq)T;θ={θj}(j=1,2,?,p}為隱層神經(jīng)元引入閾值,γ={γt}(t=1,2...q)為輸出層神經(jīng)元引入閾值;輸入層到隱層之間的權(quán)值矩陣V=(V1,V2,?,Vm),隱層到輸出層之間的權(quán)值矩陣W=(W1,W2,?,Wr)。188第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)189第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)1810第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)(1)計算中間隱含層各個神經(jīng)元的凈輸入和輸出j=1,2,...,p(2)計算輸出層各個神經(jīng)元的凈輸入和實(shí)際輸出t=1,2,...,q(3

5、)根據(jù)給定期望,計算輸出層各個神經(jīng)元的校正誤差(4)計算隱含層各個神經(jīng)元的校正誤差4.4BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法1811第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)(5)修正隱含層至輸出層的連接權(quán)值V和輸出層神經(jīng)元的閾值γ,其中學(xué)習(xí)速率為α,0<α<1j=1,2,...,p,t=1,2,...,q(6)修正輸入層至隱含層的連接權(quán)值W和隱含層神經(jīng)元的閾值θ,其中學(xué)習(xí)速率為β,0<β<14.4BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法1812第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)一、BP網(wǎng)絡(luò)的主要能力1、非線性映射能力2、泛化能力3、容錯能力4.5BP網(wǎng)絡(luò)的分析--梯度下降學(xué)習(xí)方法二、BP算法的局限性1、存

6、在局部極小問題2、存在平坦區(qū),收斂速度慢3、網(wǎng)絡(luò)結(jié)構(gòu)選擇不一1813第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)1、BP人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的自我調(diào)整在BP人工神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)中,輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)是由問題的本身決定的,關(guān)鍵在于隱層的層數(shù)與隱節(jié)點(diǎn)的數(shù)目。只需一個隱層的神經(jīng)網(wǎng)絡(luò),它只要隱節(jié)點(diǎn)足夠多,就可以以任意精度逼近一個非線性函數(shù)。相對來說,隱節(jié)點(diǎn)數(shù)的選取很困難。隱節(jié)點(diǎn)少了,學(xué)習(xí)過程不可能收斂;隱節(jié)點(diǎn)多了,網(wǎng)絡(luò)性能下降,節(jié)點(diǎn)冗余。為了找到合適的隱節(jié)點(diǎn)數(shù),最好的辦法是在網(wǎng)絡(luò)的學(xué)習(xí)過程中,根據(jù)環(huán)境要求,自組織地學(xué)習(xí)、調(diào)整自己的結(jié)構(gòu),最后得到一個大小合適的神經(jīng)網(wǎng)絡(luò)模型。4.6

7、BP人工神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)從少到多:初始值:,先設(shè)置較多隱節(jié)點(diǎn)1814第四章誤差反向傳播神經(jīng)網(wǎng)絡(luò)2、BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)參數(shù)的自適應(yīng)學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)模型實(shí)際上是一個多元函數(shù)的優(yōu)化問題,即以連結(jié)權(quán)系數(shù)為變量,誤差函數(shù)最小為目標(biāo)的優(yōu)化問題。當(dāng)求出對連結(jié)權(quán)的梯度后,對連結(jié)權(quán)進(jìn)行修正時,學(xué)習(xí)速率α、β實(shí)際上是一個沿負(fù)梯度方向的步長問題,步長過大將使誤差函數(shù)發(fā)生振蕩,步長過小,收斂過慢。并且在不同的點(diǎn),可選步長也不一樣??傊?不存在原BP算法中所提到的固定學(xué)習(xí)速率。4.6BP人工神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)我們可以引入學(xué)習(xí)參數(shù)自適應(yīng)算法加以確定。其基本思想是:當(dāng)權(quán)值w,v

8、遠(yuǎn)離穩(wěn)定點(diǎn)(學(xué)習(xí)要達(dá)到的目標(biāo)點(diǎn))時,α,β取較大值;而當(dāng)其逼近穩(wěn)定點(diǎn)(E1→0)時,α,β取較小值。1815第四章誤差反向

當(dāng)前文檔最多預(yù)覽五頁,下載文檔查看全文

此文檔下載收益歸作者所有

當(dāng)前文檔最多預(yù)覽五頁,下載文檔查看全文
溫馨提示:
1. 部分包含數(shù)學(xué)公式或PPT動畫的文件,查看預(yù)覽時可能會顯示錯亂或異常,文件下載后無此問題,請放心下載。
2. 本文檔由用戶上傳,版權(quán)歸屬用戶,天天文庫負(fù)責(zé)整理代發(fā)布。如果您對本文檔版權(quán)有爭議請及時聯(lián)系客服。
3. 下載前請仔細(xì)閱讀文檔內(nèi)容,確認(rèn)文檔內(nèi)容符合您的需求后進(jìn)行下載,若出現(xiàn)內(nèi)容與標(biāo)題不符可向本站投訴處理。
4. 下載文檔時可能由于網(wǎng)絡(luò)波動等原因無法下載或下載錯誤,付費(fèi)完成后未能成功下載的用戶請聯(lián)系客服處理。