資源描述：
《BP人工神經(jīng)網(wǎng)絡(luò)及matlab實(shí)現(xiàn).ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、1BP人工神經(jīng)網(wǎng)絡(luò)2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅2本章的基本內(nèi)容BP網(wǎng)絡(luò)結(jié)構(gòu)與模型BP網(wǎng)絡(luò)的學(xué)習(xí)算法BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能一個(gè)簡(jiǎn)單的例子BP網(wǎng)絡(luò)的幾個(gè)問題改進(jìn)的BP網(wǎng)絡(luò)的學(xué)習(xí)算法BP網(wǎng)絡(luò)的應(yīng)用示例2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅3Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(BackPropagation)學(xué)習(xí)算法BP算法基本原理利用輸出后的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層
2、的反傳下去，就獲得了所有其他各層的誤差估計(jì)。J.McClellandDavidRumelhart概述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅4BP網(wǎng)絡(luò)是一種前向映射網(wǎng)絡(luò)。網(wǎng)絡(luò)的結(jié)構(gòu)見下一頁的圖形。其中：u是網(wǎng)絡(luò)的輸入向量，y是網(wǎng)絡(luò)的輸出向量。神經(jīng)元用節(jié)點(diǎn)表示，網(wǎng)絡(luò)由輸入層、隱層和輸出層節(jié)點(diǎn)組成，隱層可一層，也可多層(圖中是單隱層)。前層節(jié)點(diǎn)至后層節(jié)點(diǎn)通過權(quán)聯(lián)接。由于這種網(wǎng)絡(luò)常常用BP學(xué)習(xí)算法后的網(wǎng)絡(luò)權(quán)值，所以常稱BP人工神經(jīng)網(wǎng)絡(luò)。5-1網(wǎng)絡(luò)結(jié)構(gòu)和模型2006-12-6北京科技大學(xué)自動(dòng)化系付冬
3、梅55-1網(wǎng)絡(luò)結(jié)構(gòu)和模型2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅65-1網(wǎng)絡(luò)結(jié)構(gòu)與模型2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅75-1網(wǎng)絡(luò)結(jié)構(gòu)和模型BP網(wǎng)絡(luò)的神經(jīng)元模型是改進(jìn)了感知器神經(jīng)元模型得到的。輸入層：隱層：輸出層：fxex()=+-11fxeexx()=-+--11fxeexx()=-+--11fxex()=+-112006-12-6北京科技大學(xué)自動(dòng)化系付冬梅85-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法多層前饋網(wǎng)絡(luò)的反向傳播（BP）學(xué)習(xí)算法，簡(jiǎn)稱BP學(xué)習(xí)算法，這是一種有導(dǎo)師的學(xué)習(xí)算法，是梯度下降法
4、在多層前饋網(wǎng)中的應(yīng)用。BP學(xué)習(xí)算法可以看成是線性自適應(yīng)神經(jīng)元學(xué)習(xí)算法的進(jìn)一步推廣。BP學(xué)習(xí)算法=前向計(jì)算過程+誤差反向傳播過程前向計(jì)算過程：也是網(wǎng)絡(luò)應(yīng)用時(shí)的實(shí)現(xiàn)過程。誤差反向傳播過程：是BP網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)和訓(xùn)練過程。5-2-1BP學(xué)習(xí)算法概述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅9學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號(hào)的正向傳播誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號(hào)修正各單元權(quán)值5-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法5-2-
5、1BP學(xué)習(xí)算法概述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅10正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度或者進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止5-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法5-2-1BP學(xué)習(xí)算法概述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅11網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個(gè)神經(jīng)元，隱含層有p個(gè)神經(jīng)元，輸出層有q個(gè)神經(jīng)元。變量定義輸入向量;隱
6、含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;5-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法5-2-2BP學(xué)習(xí)算法的描述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅12輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個(gè)數(shù):激活函數(shù):誤差函數(shù)：5-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法5-2-2BP學(xué)習(xí)算法的描述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅13第一步，網(wǎng)絡(luò)初始化給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精
7、度值和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第個(gè)輸入樣本及對(duì)應(yīng)期望輸出5-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法5-2-2BP學(xué)習(xí)算法的描述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅14第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸出5-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法5-2-2BP學(xué)習(xí)算法的描述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅15第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。5-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法5-2-2BP學(xué)習(xí)算法的描述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅16第五步，利用隱含層到輸
8、出層的連接權(quán)值、輸出層的和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)。5-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法5-2-2BP學(xué)習(xí)算法的描述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅175-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法5-2-2BP學(xué)習(xí)算法的描述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅18第六步，利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權(quán)值。第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。5-2BP網(wǎng)絡(luò)的學(xué)習(xí)算法5-2-2BP學(xué)習(xí)算法的描述2006-12-6北京科技大學(xué)自動(dòng)化系付冬梅
