指導(dǎo)老師高新波.ppt

《指導(dǎo)老師高新波.ppt》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、NEURALNETWORKSANDFUZZYSYSTEMSCHAPTERFOURSYNAPTICDYNAMICS1:UNSUPERVISEDLEARNING講課人：李良群指導(dǎo)老師：高新波8/4/20211學(xué)習(xí)學(xué)習(xí)就是對信息進(jìn)行編碼,其目的就是通過向有限個(gè)例子（訓(xùn)練樣本）的學(xué)習(xí)來找到隱藏在例子背后（即產(chǎn)生這些例子）的規(guī)律（如函數(shù)形式）。三種學(xué)習(xí)方式：8/4/20212編碼我們使用行為（behavioristic）編碼準(zhǔn)則，如果輸入激勵(lì)為，而響應(yīng)為，則該系統(tǒng)對激勵(lì)－響應(yīng)進(jìn)行了學(xué)習(xí)。輸入輸出對表示函數(shù)的一個(gè)

2、樣本，函數(shù)f將n維矢量X映射到p維矢量Y。8/4/20213學(xué)習(xí)過程如果對所有的輸入都有響應(yīng)，那么我們就說系統(tǒng)對函數(shù)進(jìn)行了學(xué)習(xí)若輸入系統(tǒng)就會得到響應(yīng)，則表明系統(tǒng)近似或部分的對函數(shù)進(jìn)行了學(xué)習(xí)，即系統(tǒng)把相似的輸入映射為相似的輸出，由此估計(jì)出一個(gè)連續(xù)的函數(shù)。8/4/20214學(xué)習(xí)與改變當(dāng)樣本數(shù)據(jù)改變系統(tǒng)參數(shù)時(shí)，系統(tǒng)會對這些改變進(jìn)行自適應(yīng)或自組織的學(xué)習(xí)。在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為突觸的改變，而不是神經(jīng)元的改變（盡管有時(shí)神經(jīng)元也學(xué)習(xí)新的狀態(tài)）。注：突觸的改變就是權(quán)值的學(xué)習(xí)過程，而神經(jīng)元的改變只是網(wǎng)絡(luò)的演化。當(dāng)激勵(lì)改變了記

3、憶介質(zhì)并使改變維持相當(dāng)長一段時(shí)間后，我們就說系統(tǒng)學(xué)會了。這也說明了傳統(tǒng)的解釋學(xué)習(xí)是半永久的變化。例如，如果我們通過了微積分的考試，那么可以說我們學(xué)會了微積分，并且可以持續(xù)這種“會“的狀態(tài)一段時(shí)間。8/4/20215學(xué)習(xí)與量化量化的必要性通常系統(tǒng)只能對樣本模式環(huán)境中一小部分樣本進(jìn)行學(xué)習(xí)，而可能的樣本數(shù)量使無窮的。系統(tǒng)的存儲量是有限的，這就要求系統(tǒng)要通過學(xué)習(xí)學(xué)會用新的樣本模式替換舊的樣本模式，從而形成樣本模式的內(nèi)部表達(dá)或模型。從而可用學(xué)會的模型來定義量化模式。8/4/20216學(xué)習(xí)與量化量子化量子化，把樣本

4、模式空間分成k個(gè)區(qū)域：量子化區(qū)域決策組。被學(xué)習(xí)的原型矢量在一個(gè)足夠大的模式空間中定義了個(gè)突觸點(diǎn)。當(dāng)且僅當(dāng)某個(gè)在中移動時(shí)，系統(tǒng)才進(jìn)行學(xué)習(xí)。矢量量子化規(guī)則矢量量子化可以按照不同的規(guī)則進(jìn)行優(yōu)化。原型可以擴(kuò)展以使矢量量子化均方誤差最小或使某些數(shù)字性能規(guī)則最優(yōu)。更一般的，量子化矢量可以估計(jì)樣本模式的未知的概率分布，即可從原型矢量的分布可以統(tǒng)計(jì)的代表樣本模式的未知分布。8/4/20217無監(jiān)督和有監(jiān)督學(xué)習(xí)對于兩種學(xué)習(xí)方式，描述樣本模式x在樣本空間中的連續(xù)分布的概率密度函數(shù)都是未知，只有通過學(xué)習(xí)來更精確的估計(jì)。無監(jiān)督

5、學(xué)習(xí)對不作任何的假設(shè)，并且只是利用最少限度的信息。優(yōu)點(diǎn)：利用“無標(biāo)志”的模式樣本，“盲目”處理模式樣本，其計(jì)算復(fù)雜度小，速度快，適用于高速環(huán)境。缺點(diǎn)：精確度低8/4/20218無監(jiān)督和有監(jiān)督學(xué)習(xí)對于有監(jiān)督學(xué)習(xí)，它假設(shè)了一種樣本模式分組結(jié)構(gòu)或性能。有監(jiān)督學(xué)習(xí)算法還依賴于每個(gè)學(xué)習(xí)樣本的分組隸屬度信息，即，假設(shè)分成：所以算法可以檢查出錯(cuò)誤分組或計(jì)算出“錯(cuò)誤”信息或矢量。優(yōu)點(diǎn)：精確度較高。缺點(diǎn)：速度較慢，計(jì)算較復(fù)雜。8/4/20219在神經(jīng)網(wǎng)絡(luò)中的區(qū)別有監(jiān)督學(xué)習(xí)利用在所有可能的突觸值的聯(lián)系空間中估計(jì)出的梯度下降

6、，來估計(jì)依賴于的未知均方性能的測度梯度。監(jiān)督器利用分組隸屬度信息來確定數(shù)字誤差信號或矢量，以引導(dǎo)估計(jì)出的梯度下降。無監(jiān)督學(xué)習(xí)類似與生物突觸，利用神經(jīng)信號的局部信息來改變參數(shù)，而不利用分組隸屬度信息來處理未標(biāo)志的原始數(shù)據(jù)。它自適應(yīng)的把樣本模式分成模式簇，突觸扇入矢量估計(jì)樣本模式的分組軌跡，這個(gè)過程依賴于未知概率密度函數(shù)。8/4/202110在神經(jīng)網(wǎng)絡(luò)中的區(qū)別一般無監(jiān)督學(xué)習(xí)規(guī)則可用一階差分或一階微分方程來定義。一般來說，隨機(jī)微分方程就定義了一個(gè)無監(jiān)督學(xué)習(xí)規(guī)則，并且描述了突觸如何處理局部可用信息。8/4/20

7、2111局部信息局部信息：突觸可以簡單獲得的，經(jīng)常是表示突觸性質(zhì)和神經(jīng)信號性質(zhì)的信息。局部化使突觸可以實(shí)時(shí)、異步地學(xué)習(xí)，不需要全局的誤差信息；也使無監(jiān)督學(xué)習(xí)定律的函數(shù)空間縮小，從而也使得突觸只能獲得局部非常有限的信息。局部的無監(jiān)督突觸把信號和信號聯(lián)系起來，形成由局部化限定的共軛或相關(guān)學(xué)習(xí)定律。學(xué)習(xí)定律中只包含神經(jīng)元、突觸和噪聲三項(xiàng)。借助于聯(lián)想可以進(jìn)一步縮小函數(shù)空間，它把模式聯(lián)系起來。通過把、聯(lián)系起來，神經(jīng)網(wǎng)絡(luò)的主要目的也就是估計(jì)函數(shù)和未知的聯(lián)合概率密度函數(shù)。8/4/202112四種無監(jiān)督學(xué)習(xí)主要介紹：信

8、號Hebbian學(xué)習(xí)、微分Hebbian學(xué)習(xí)、競爭學(xué)習(xí)、微分競爭學(xué)習(xí)8/4/202113四個(gè)無監(jiān)督學(xué)習(xí)首先介紹這四種非監(jiān)督學(xué)習(xí)定律的基本形式；簡單回顧一下概率論、隨機(jī)過程、布朗運(yùn)動和白噪聲；最后，對這四種非監(jiān)督學(xué)習(xí)的學(xué)習(xí)定律的性質(zhì)分別加以簡單介紹。8/4/2021141、確定信號的Hebbian學(xué)習(xí)局部神經(jīng)信號：或簡化為：若，則第個(gè)突觸連接被激活若，則第個(gè)突觸連接被抑制：是單調(diào)非減函數(shù)，其作用就是把激勵(lì)或膜電位轉(zhuǎn)化為有界信號8/4/2021