指導(dǎo)老師高新波.ppt

《指導(dǎo)老師高新波.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、NEURALNETWORKSANDFUZZYSYSTEMSCHAPTERFOURSYNAPTICDYNAMICS1:UNSUPERVISEDLEARNING講課人：李良群指導(dǎo)老師：高新波8/4/20211學(xué)習(xí)學(xué)習(xí)就是對(duì)信息進(jìn)行編碼,其目的就是通過(guò)向有限個(gè)例子（訓(xùn)練樣本）的學(xué)習(xí)來(lái)找到隱藏在例子背后（即產(chǎn)生這些例子）的規(guī)律（如函數(shù)形式）。三種學(xué)習(xí)方式：8/4/20212編碼我們使用行為（behavioristic）編碼準(zhǔn)則，如果輸入激勵(lì)為，而響應(yīng)為，則該系統(tǒng)對(duì)激勵(lì)－響應(yīng)進(jìn)行了學(xué)習(xí)。輸入輸出對(duì)表示函數(shù)的一個(gè)

2、樣本，函數(shù)f將n維矢量X映射到p維矢量Y。8/4/20213學(xué)習(xí)過(guò)程如果對(duì)所有的輸入都有響應(yīng)，那么我們就說(shuō)系統(tǒng)對(duì)函數(shù)進(jìn)行了學(xué)習(xí)若輸入系統(tǒng)就會(huì)得到響應(yīng)，則表明系統(tǒng)近似或部分的對(duì)函數(shù)進(jìn)行了學(xué)習(xí)，即系統(tǒng)把相似的輸入映射為相似的輸出，由此估計(jì)出一個(gè)連續(xù)的函數(shù)。8/4/20214學(xué)習(xí)與改變當(dāng)樣本數(shù)據(jù)改變系統(tǒng)參數(shù)時(shí)，系統(tǒng)會(huì)對(duì)這些改變進(jìn)行自適應(yīng)或自組織的學(xué)習(xí)。在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為突觸的改變，而不是神經(jīng)元的改變（盡管有時(shí)神經(jīng)元也學(xué)習(xí)新的狀態(tài)）。注：突觸的改變就是權(quán)值的學(xué)習(xí)過(guò)程，而神經(jīng)元的改變只是網(wǎng)絡(luò)的演化。當(dāng)激勵(lì)改變了記

3、憶介質(zhì)并使改變維持相當(dāng)長(zhǎng)一段時(shí)間后，我們就說(shuō)系統(tǒng)學(xué)會(huì)了。這也說(shuō)明了傳統(tǒng)的解釋學(xué)習(xí)是半永久的變化。例如，如果我們通過(guò)了微積分的考試，那么可以說(shuō)我們學(xué)會(huì)了微積分，并且可以持續(xù)這種“會(huì)“的狀態(tài)一段時(shí)間。8/4/20215學(xué)習(xí)與量化量化的必要性通常系統(tǒng)只能對(duì)樣本模式環(huán)境中一小部分樣本進(jìn)行學(xué)習(xí)，而可能的樣本數(shù)量使無(wú)窮的。系統(tǒng)的存儲(chǔ)量是有限的，這就要求系統(tǒng)要通過(guò)學(xué)習(xí)學(xué)會(huì)用新的樣本模式替換舊的樣本模式，從而形成樣本模式的內(nèi)部表達(dá)或模型。從而可用學(xué)會(huì)的模型來(lái)定義量化模式。8/4/20216學(xué)習(xí)與量化量子化量子化，把樣本

4、模式空間分成k個(gè)區(qū)域：量子化區(qū)域決策組。被學(xué)習(xí)的原型矢量在一個(gè)足夠大的模式空間中定義了個(gè)突觸點(diǎn)。當(dāng)且僅當(dāng)某個(gè)在中移動(dòng)時(shí)，系統(tǒng)才進(jìn)行學(xué)習(xí)。矢量量子化規(guī)則矢量量子化可以按照不同的規(guī)則進(jìn)行優(yōu)化。原型可以擴(kuò)展以使矢量量子化均方誤差最小或使某些數(shù)字性能規(guī)則最優(yōu)。更一般的，量子化矢量可以估計(jì)樣本模式的未知的概率分布，即可從原型矢量的分布可以統(tǒng)計(jì)的代表樣本模式的未知分布。8/4/20217無(wú)監(jiān)督和有監(jiān)督學(xué)習(xí)對(duì)于兩種學(xué)習(xí)方式，描述樣本模式x在樣本空間中的連續(xù)分布的概率密度函數(shù)都是未知，只有通過(guò)學(xué)習(xí)來(lái)更精確的估計(jì)。無(wú)監(jiān)督

5、學(xué)習(xí)對(duì)不作任何的假設(shè)，并且只是利用最少限度的信息。優(yōu)點(diǎn)：利用“無(wú)標(biāo)志”的模式樣本，“盲目”處理模式樣本，其計(jì)算復(fù)雜度小，速度快，適用于高速環(huán)境。缺點(diǎn)：精確度低8/4/20218無(wú)監(jiān)督和有監(jiān)督學(xué)習(xí)對(duì)于有監(jiān)督學(xué)習(xí)，它假設(shè)了一種樣本模式分組結(jié)構(gòu)或性能。有監(jiān)督學(xué)習(xí)算法還依賴于每個(gè)學(xué)習(xí)樣本的分組隸屬度信息，即，假設(shè)分成：所以算法可以檢查出錯(cuò)誤分組或計(jì)算出“錯(cuò)誤”信息或矢量。優(yōu)點(diǎn)：精確度較高。缺點(diǎn)：速度較慢，計(jì)算較復(fù)雜。8/4/20219在神經(jīng)網(wǎng)絡(luò)中的區(qū)別有監(jiān)督學(xué)習(xí)利用在所有可能的突觸值的聯(lián)系空間中估計(jì)出的梯度下降

6、，來(lái)估計(jì)依賴于的未知均方性能的測(cè)度梯度。監(jiān)督器利用分組隸屬度信息來(lái)確定數(shù)字誤差信號(hào)或矢量，以引導(dǎo)估計(jì)出的梯度下降。無(wú)監(jiān)督學(xué)習(xí)類似與生物突觸，利用神經(jīng)信號(hào)的局部信息來(lái)改變參數(shù)，而不利用分組隸屬度信息來(lái)處理未標(biāo)志的原始數(shù)據(jù)。它自適應(yīng)的把樣本模式分成模式簇，突觸扇入矢量估計(jì)樣本模式的分組軌跡，這個(gè)過(guò)程依賴于未知概率密度函數(shù)。8/4/202110在神經(jīng)網(wǎng)絡(luò)中的區(qū)別一般無(wú)監(jiān)督學(xué)習(xí)規(guī)則可用一階差分或一階微分方程來(lái)定義。一般來(lái)說(shuō)，隨機(jī)微分方程就定義了一個(gè)無(wú)監(jiān)督學(xué)習(xí)規(guī)則，并且描述了突觸如何處理局部可用信息。8/4/20

7、2111局部信息局部信息：突觸可以簡(jiǎn)單獲得的，經(jīng)常是表示突觸性質(zhì)和神經(jīng)信號(hào)性質(zhì)的信息。局部化使突觸可以實(shí)時(shí)、異步地學(xué)習(xí)，不需要全局的誤差信息；也使無(wú)監(jiān)督學(xué)習(xí)定律的函數(shù)空間縮小，從而也使得突觸只能獲得局部非常有限的信息。局部的無(wú)監(jiān)督突觸把信號(hào)和信號(hào)聯(lián)系起來(lái)，形成由局部化限定的共軛或相關(guān)學(xué)習(xí)定律。學(xué)習(xí)定律中只包含神經(jīng)元、突觸和噪聲三項(xiàng)。借助于聯(lián)想可以進(jìn)一步縮小函數(shù)空間，它把模式聯(lián)系起來(lái)。通過(guò)把、聯(lián)系起來(lái)，神經(jīng)網(wǎng)絡(luò)的主要目的也就是估計(jì)函數(shù)和未知的聯(lián)合概率密度函數(shù)。8/4/202112四種無(wú)監(jiān)督學(xué)習(xí)主要介紹：信

8、號(hào)Hebbian學(xué)習(xí)、微分Hebbian學(xué)習(xí)、競(jìng)爭(zhēng)學(xué)習(xí)、微分競(jìng)爭(zhēng)學(xué)習(xí)8/4/202113四個(gè)無(wú)監(jiān)督學(xué)習(xí)首先介紹這四種非監(jiān)督學(xué)習(xí)定律的基本形式；簡(jiǎn)單回顧一下概率論、隨機(jī)過(guò)程、布朗運(yùn)動(dòng)和白噪聲；最后，對(duì)這四種非監(jiān)督學(xué)習(xí)的學(xué)習(xí)定律的性質(zhì)分別加以簡(jiǎn)單介紹。8/4/2021141、確定信號(hào)的Hebbian學(xué)習(xí)局部神經(jīng)信號(hào)：或簡(jiǎn)化為：若，則第個(gè)突觸連接被激活若，則第個(gè)突觸連接被抑制：是單調(diào)非減函數(shù)，其作用就是把激勵(lì)或膜電位轉(zhuǎn)化為有界信號(hào)8/4/2021