神經(jīng)網(wǎng)絡(luò)概述及HOPFIELD神經(jīng)網(wǎng)絡(luò)

《神經(jīng)網(wǎng)絡(luò)概述及HOPFIELD神經(jīng)網(wǎng)絡(luò)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、神經(jīng)網(wǎng)絡(luò)及其應(yīng)用H-H模型Integrate-and-Fire模型基于放電率編碼的生物神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)BP網(wǎng)絡(luò)PID神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò)神經(jīng)科學(xué)神經(jīng)網(wǎng)絡(luò)技術(shù)1生物神經(jīng)元及其網(wǎng)絡(luò)-H-H模型1生物神經(jīng)元及其網(wǎng)絡(luò)-H-H模型(1)H-H方程（神經(jīng)元模型）1生物神經(jīng)元及其網(wǎng)絡(luò)-H-H模型：突觸電流：外部電流1生物神經(jīng)元及其網(wǎng)絡(luò)-H-H模型(2)突觸模型2生物神經(jīng)元及其網(wǎng)絡(luò)-Integrate-and-Fire模型膜電位通過(guò)積分上升，到達(dá)閾值后，放電（發(fā)出一個(gè)電脈沖），然后膜電位回復(fù)到復(fù)位電位(1)神經(jīng)元

2、模型神經(jīng)元的放電的時(shí)刻集：神經(jīng)元的狀態(tài)（膜電壓）神經(jīng)元的突觸前神經(jīng)元集合：2生物神經(jīng)元及其網(wǎng)絡(luò)-Integrate-and-Fire模型來(lái)自于突觸的輸入：更一般的情況：突觸強(qiáng)度2生物神經(jīng)元及其網(wǎng)絡(luò)-Integrate-and-Fire模型（2）突觸模型3基于放電率編碼的生物神經(jīng)元及其網(wǎng)絡(luò)（1）神經(jīng)編碼基于神經(jīng)脈沖放電時(shí)刻的神經(jīng)編碼神經(jīng)元放電序列：基于神經(jīng)元放電率的神經(jīng)編碼神經(jīng)元放電率神經(jīng)元在時(shí)刻的放電的概率密度3基于放電率編碼的生物神經(jīng)元及其網(wǎng)絡(luò)(2)基于放電率編碼的神經(jīng)元模型神經(jīng)元放電率(3)基于放電率編碼的突觸模型神

3、經(jīng)元膜時(shí)間常數(shù)簡(jiǎn)化簡(jiǎn)化inputweightsoutput突觸電流突觸時(shí)間常數(shù)3基于放電率編碼的生物神經(jīng)元及其網(wǎng)絡(luò)(4)基于放電率編碼的前向神經(jīng)網(wǎng)絡(luò)inputweightsoutput可用于解釋運(yùn)動(dòng)前區(qū)皮層神經(jīng)元的響應(yīng)特性:只要頭的位置不變，神經(jīng)元響應(yīng)不變(5)基于放電率編碼的反饋神經(jīng)網(wǎng)絡(luò)inputweightsoutput可用于解釋神經(jīng)系統(tǒng)中的選擇性放大、輸入積分等特性3基于放電率編碼的生物神經(jīng)元及其網(wǎng)絡(luò)(5)基于放電率編碼的反饋神經(jīng)網(wǎng)絡(luò)3基于放電率編碼的生物神經(jīng)元及其網(wǎng)絡(luò)選擇性放大:假設(shè)（線性反饋神經(jīng)網(wǎng)絡(luò)）（特征值,

4、特征向量）兩邊同乘(5)基于放電率編碼的反饋神經(jīng)網(wǎng)絡(luò)3基于放電率編碼的生物神經(jīng)元及其網(wǎng)絡(luò)選擇性放大:若若而其它特征值遠(yuǎn)小于1，則：即投射到軸上的輸入向量將得到放大輸入積分:眼睛的水平定位3基于放電率編碼的生物神經(jīng)元及其網(wǎng)絡(luò)(5)基于放電率編碼的生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)Hebb學(xué)習(xí)規(guī)則（1949）：如果神經(jīng)元A對(duì)神經(jīng)元B的放電有貢獻(xiàn)，則從神經(jīng)元A到神經(jīng)元B的突觸連接應(yīng)加強(qiáng)非監(jiān)督式學(xué)習(xí)（unsupervisedlearning）：監(jiān)督式學(xué)習(xí)（supervisedlearning）：第個(gè)輸入輸出樣本對(duì)，樣本對(duì)個(gè)數(shù)強(qiáng)化式學(xué)習(xí)（rein

5、forcementlearning）：間于非監(jiān)督式學(xué)習(xí)和監(jiān)督式學(xué)習(xí)之間inputweightsoutput4Hopfield神經(jīng)網(wǎng)絡(luò)1982年，Hoopfield用能量函數(shù)的思想形成一種具有對(duì)稱連接的遞歸網(wǎng)絡(luò)所執(zhí)行的計(jì)算的新方法。這類具有反饋的特殊神經(jīng)網(wǎng)絡(luò)在80年代引起了大量的關(guān)注，產(chǎn)生了著名的Hopfield網(wǎng)絡(luò)。盡管Hopfield網(wǎng)絡(luò)不可能是真正的神經(jīng)生物系統(tǒng)模型，他們包涵的原理，即在動(dòng)態(tài)的穩(wěn)定網(wǎng)絡(luò)中存儲(chǔ)信息原理的，是極深刻的。4Hopfield神經(jīng)網(wǎng)絡(luò)-連續(xù)型神經(jīng)元的狀態(tài)（輸入）神經(jīng)元的輸出(放電率)其它神經(jīng)元的

6、輸出構(gòu)成的輸入外部輸入4Hopfield神經(jīng)網(wǎng)絡(luò)-離散型:凈輸入:輸出:sigmoidfunction神經(jīng)元的個(gè)數(shù)4Hopfield神經(jīng)網(wǎng)絡(luò)-離散型如果Hopfield網(wǎng)絡(luò)的聯(lián)接權(quán)矩陣是對(duì)角線為0的對(duì)稱矩陣，則它是穩(wěn)定的。著名的Lyapunov函數(shù)作為Hopfield網(wǎng)絡(luò)的能量函數(shù)。例如三個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的權(quán)矩陣：4Hopfield神經(jīng)網(wǎng)絡(luò)-離散型狀態(tài)更新順序（同步）：初始狀態(tài)A=1,B=1,C=0A=0,B=0,C=1A=1,B=1,C=1A=1,B=1,C=1狀態(tài)更新順序（異步）：初始狀態(tài)A=1,B=1,C=0A=

7、0B=1C=1注:異步更新一定能演化到固定點(diǎn)4Hopfield神經(jīng)網(wǎng)絡(luò)-離散型在優(yōu)化問(wèn)題中的應(yīng)用狀態(tài)演化（1）（2）注：（3）從任一初始狀態(tài)演化（如圖A=1，B=1），網(wǎng)絡(luò)將穩(wěn)定在A=1，B=0，這就是m1，m1的解。異步更新4Hopfield神經(jīng)網(wǎng)絡(luò)-離散型在聯(lián)想記憶問(wèn)題中的應(yīng)用注意：兩個(gè)存儲(chǔ)模式為兩個(gè)局部能量最低點(diǎn)Hebb學(xué)習(xí)規(guī)則假設(shè)存儲(chǔ)模式:4Hopfield神經(jīng)網(wǎng)絡(luò)-離散型在聯(lián)想記憶問(wèn)題中的應(yīng)用自相關(guān)記憶能量函數(shù)：4Hopfield神經(jīng)網(wǎng)絡(luò)-離散型在聯(lián)想記憶問(wèn)題中的應(yīng)用4Hopfield神經(jīng)網(wǎng)絡(luò)-離散型在聯(lián)想記憶

8、問(wèn)題中的應(yīng)用4Hopfield神經(jīng)網(wǎng)絡(luò)-離散型聯(lián)想記憶的兩個(gè)重要問(wèn)題(1)存儲(chǔ)容量(2)吸引域1請(qǐng)以具體數(shù)據(jù)舉一簡(jiǎn)單例子說(shuō)明離散Hopfield網(wǎng)絡(luò)如何用于優(yōu)化問(wèn)題。2請(qǐng)以具體數(shù)據(jù)舉一簡(jiǎn)單例子說(shuō)明離散Hopfield網(wǎng)絡(luò)如何用于聯(lián)想記憶問(wèn)題。4Hopfield神經(jīng)網(wǎng)絡(luò)-離散型思考題