BP神經(jīng)網(wǎng)絡(luò)詳細(xì)講解.doc

ID:51174158

大?。?42.50 KB

頁(yè)數(shù):19頁(yè)

時(shí)間:2020-03-19

BP神經(jīng)網(wǎng)絡(luò)詳細(xì)講解.doc_第1頁(yè)
BP神經(jīng)網(wǎng)絡(luò)詳細(xì)講解.doc_第2頁(yè)
BP神經(jīng)網(wǎng)絡(luò)詳細(xì)講解.doc_第3頁(yè)
BP神經(jīng)網(wǎng)絡(luò)詳細(xì)講解.doc_第4頁(yè)
BP神經(jīng)網(wǎng)絡(luò)詳細(xì)講解.doc_第5頁(yè)
資源描述:

《BP神經(jīng)網(wǎng)絡(luò)詳細(xì)講解.doc》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。

1、PS:這篇介紹神經(jīng)網(wǎng)絡(luò)是很詳細(xì)的,有一步一步的推導(dǎo)公式!神經(jīng)網(wǎng)絡(luò)是DL(深度學(xué)習(xí))的基礎(chǔ)。如果對(duì)神經(jīng)網(wǎng)絡(luò)已經(jīng)有所了解,可以直接跳到“三、BP算法的執(zhí)行步驟“部分,算法框架清晰明了。另外,如果對(duì)NN很感興趣,也可以參閱最后兩篇參考博文,也很不錯(cuò)!學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)一種最重要也最令人注目的特點(diǎn)。在神經(jīng)網(wǎng)絡(luò)的發(fā)展進(jìn)程中,學(xué)習(xí)算法的研究有著十分重要的地位。目前,人們所提出的神經(jīng)網(wǎng)絡(luò)模型都是和學(xué)習(xí)算法相應(yīng)的。所以,有時(shí)人們并不去祈求對(duì)模型和算法進(jìn)行嚴(yán)格的定義或區(qū)分。有的模型可以有多種算法.而有的算法可能可用于多種模型。不過(guò),有時(shí)人們也稱算法為模型。自從40年代Hebb提出的學(xué)習(xí)規(guī)則以來(lái),人

2、們相繼提出了各種各樣的學(xué)習(xí)算法。其中以在1986年Rumelhart等提出的誤差反向傳播法,即BP(errorBackPropagation)法影響最為廣泛。直到今天,BP算法仍然是自動(dòng)控制上最重要、應(yīng)用最多的有效算法。1.2.1神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)理和機(jī)構(gòu)在神經(jīng)網(wǎng)絡(luò)中,對(duì)外部環(huán)境提供的模式樣本進(jìn)行學(xué)習(xí)訓(xùn)練,并能存儲(chǔ)這種模式,則稱為感知器;對(duì)外部環(huán)境有適應(yīng)能力,能自動(dòng)提取外部環(huán)境變化特征,則稱為認(rèn)知器。神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)中,一般分為有教師和無(wú)教師學(xué)習(xí)兩種。感知器采用有教師信號(hào)進(jìn)行學(xué)習(xí),而認(rèn)知器則采用無(wú)教師信號(hào)學(xué)習(xí)的。在主要神經(jīng)網(wǎng)絡(luò)如BP網(wǎng)絡(luò),Hopfield網(wǎng)絡(luò),ART網(wǎng)絡(luò)和Koho

3、nen網(wǎng)絡(luò)中;BP網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)是需要教師信號(hào)才能進(jìn)行學(xué)習(xí)的;而ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)則無(wú)需教師信號(hào)就可以學(xué)習(xí)。所謂教師信號(hào),就是在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中由外部提供的模式樣本信號(hào)。一、感知器的學(xué)習(xí)結(jié)構(gòu)感知器的學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)最典型的學(xué)習(xí)。目前,在控制上應(yīng)用的是多層前饋網(wǎng)絡(luò),這是一種感知器模型,學(xué)習(xí)算法是BP法,故是有教師學(xué)習(xí)算法。一個(gè)有教師的學(xué)習(xí)系統(tǒng)可以用圖1—7表示。這種學(xué)習(xí)系統(tǒng)分成三個(gè)部分:輸入部,訓(xùn)練部和輸出部。圖1-7?神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)框圖輸入部接收外來(lái)的輸入樣本X,由訓(xùn)練部進(jìn)行網(wǎng)絡(luò)的權(quán)系數(shù)W調(diào)整,然后由輸出部輸出結(jié)果。在這個(gè)過(guò)程中,期望的輸出信號(hào)可以作為教

4、師信號(hào)輸入,由該教師信號(hào)與實(shí)際輸出進(jìn)行比較,產(chǎn)生的誤差去控制修改權(quán)系數(shù)W。學(xué)習(xí)機(jī)構(gòu)可用圖1—8所示的結(jié)構(gòu)表示。在圖中,Xl?,X2?,…,Xn?,是輸入樣本信號(hào),W1?,W2?,…,Wn?是權(quán)系數(shù)。輸入樣本信號(hào)Xi?可以取離散值“0”或“1”。輸入樣本信號(hào)通過(guò)權(quán)系數(shù)作用,在u產(chǎn)生輸出結(jié)果∑Wi?Xi?,即有:u=∑Wi?Xi?=W1?X1?+W2?X2?+…+Wn?Xn再把期望輸出信號(hào)Y(t)和u進(jìn)行比較,從而產(chǎn)生誤差信號(hào)e。即權(quán)值調(diào)整機(jī)構(gòu)根據(jù)誤差e去對(duì)學(xué)習(xí)系統(tǒng)的權(quán)系數(shù)進(jìn)行修改,修改方向應(yīng)使誤差e變小,不斷進(jìn)行下去,使到誤差e為零,這時(shí)實(shí)際輸出值u和期望輸出值Y(t)完全一樣

5、,則學(xué)習(xí)過(guò)程結(jié)束。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)一般需要多次重復(fù)訓(xùn)練,使誤差值逐漸向零趨近,最后到達(dá)零。則這時(shí)才會(huì)使輸出與期望一致。故而神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是消耗一定時(shí)期的,有的學(xué)習(xí)過(guò)程要重復(fù)很多次,甚至達(dá)萬(wàn)次級(jí)。原因在于神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)W有很多分量W1?,W2?,----Wn?;也即是一個(gè)多參數(shù)修改系統(tǒng)。系統(tǒng)的參數(shù)的調(diào)整就必定耗時(shí)耗量。目前,提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度,減少學(xué)習(xí)重復(fù)次數(shù)是十分重要的研究課題,也是實(shí)時(shí)控制中的關(guān)鍵問(wèn)題。二、感知器的學(xué)習(xí)算法感知器是有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò),由線性元件及閥值元件組成。感知器如圖1-9所示。圖1-9??感知器結(jié)構(gòu)感知器的數(shù)學(xué)模型:(1-12)其中:f[.]是

6、階躍函數(shù),并且有(1-13)?θ是閥值。感知器的最大作用就是可以對(duì)輸入的樣本分類,故它可作分類器,感知器對(duì)輸入信號(hào)的分類如下:(1-14)即是,當(dāng)感知器的輸出為1時(shí),輸入樣本稱為A類;輸出為-1時(shí),輸入樣本稱為B類。從上可知感知器的分類邊界是:(1-15)?在輸入樣本只有兩個(gè)分量X1,X2時(shí),則有分類邊界條件:(1-16)?即????W1?X1?+W2?X2?-θ=0??????(1-17)也可寫(xiě)成(1-18)這時(shí)的分類情況如固1—10所示。感知器的學(xué)習(xí)算法目的在于找尋恰當(dāng)?shù)臋?quán)系數(shù)w=(w1.w2,…,Wn),使系統(tǒng)對(duì)一個(gè)特定的樣本x=(xt,x2,…,xn)熊產(chǎn)生期望值d。

7、當(dāng)x分類為A類時(shí),期望值d=1;X為B類時(shí),d=-1。為了方便說(shuō)明感知器學(xué)習(xí)算法,把閥值θ?并人權(quán)系數(shù)w中,同時(shí),樣本x也相應(yīng)增加一個(gè)分量xn+1?。故令:Wn+1?=-θ,Xn+1?=1?????(1-19)則感知器的輸出可表示為:(1-20)感知器學(xué)習(xí)算法步驟如下:1.對(duì)權(quán)系數(shù)w置初值對(duì)權(quán)系數(shù)w=(W1?.W2?,…,Wn?,Wn+1?)的各個(gè)分量置一個(gè)較小的零隨機(jī)值,但Wn+1?=-θ?。并記為Wl?(0),W2?(0),…,Wn?(0),同時(shí)有Wn+1(0)=-θ?。這里Wi?(t)為t時(shí)刻從第

當(dāng)前文檔最多預(yù)覽五頁(yè),下載文檔查看全文

此文檔下載收益歸作者所有

當(dāng)前文檔最多預(yù)覽五頁(yè),下載文檔查看全文
溫馨提示:
1. 部分包含數(shù)學(xué)公式或PPT動(dòng)畫(huà)的文件,查看預(yù)覽時(shí)可能會(huì)顯示錯(cuò)亂或異常,文件下載后無(wú)此問(wèn)題,請(qǐng)放心下載。
2. 本文檔由用戶上傳,版權(quán)歸屬用戶,天天文庫(kù)負(fù)責(zé)整理代發(fā)布。如果您對(duì)本文檔版權(quán)有爭(zhēng)議請(qǐng)及時(shí)聯(lián)系客服。
3. 下載前請(qǐng)仔細(xì)閱讀文檔內(nèi)容,確認(rèn)文檔內(nèi)容符合您的需求后進(jìn)行下載,若出現(xiàn)內(nèi)容與標(biāo)題不符可向本站投訴處理。
4. 下載文檔時(shí)可能由于網(wǎng)絡(luò)波動(dòng)等原因無(wú)法下載或下載錯(cuò)誤,付費(fèi)完成后未能成功下載的用戶請(qǐng)聯(lián)系客服處理。
关闭