資源描述：
《BP神經(jīng)網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò).ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、第五章自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)5.1概述5.2競(jìng)爭(zhēng)學(xué)習(xí)機(jī)制和自穩(wěn)學(xué)習(xí)機(jī)制5.3自適應(yīng)共振理論神經(jīng)網(wǎng)絡(luò)（ART）BP網(wǎng)絡(luò)雖已得到廣泛應(yīng)用，然而，它在構(gòu)成網(wǎng)絡(luò)時(shí)未能充分借鑒人腦工作的特點(diǎn)，因而其功能有許多不足之處：對(duì)比之下，人腦的優(yōu)越性就極其明顯了。人的大腦是一個(gè)龐大、復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，它不僅可以記憶來(lái)自外界的各種信息，即具有可塑性，而且還可以將新、舊信息保存下來(lái)，即具有穩(wěn)定性。人的腦神經(jīng)系統(tǒng)既能牢固地記住學(xué)得的各種知識(shí)又能適應(yīng)各種復(fù)雜多變的環(huán)境，能夠通過(guò)“自學(xué)”來(lái)認(rèn)識(shí)未學(xué)習(xí)過(guò)的新事物并解決不熟悉的新問(wèn)題。因此，我們?cè)谘芯俊⒃O(shè)計(jì)和開(kāi)發(fā)人工
2、神經(jīng)網(wǎng)絡(luò)時(shí)，應(yīng)該充分借鑒人腦的學(xué)習(xí)方法：（1）BP神經(jīng)網(wǎng)絡(luò)只適用于平穩(wěn)的環(huán)境，這就是說(shuō)，輸入模式的各項(xiàng)統(tǒng)計(jì)特征不能隨時(shí)間而變化（各種客體、客體間的關(guān)系以及相應(yīng)的觀察矢量具有統(tǒng)計(jì)平衡性）。但是，真實(shí)的世界不是或不完全是這樣。（2）BP網(wǎng)絡(luò)的學(xué)習(xí)是在教師指導(dǎo)下的有監(jiān)督學(xué)習(xí)，它不能自學(xué)；另一方面，網(wǎng)絡(luò)的學(xué)習(xí)狀態(tài)與工作狀態(tài)是截然分開(kāi)的，它不能邊學(xué)習(xí)邊工作。（3）學(xué)習(xí)過(guò)程中神經(jīng)網(wǎng)絡(luò)的所有權(quán)值系數(shù)都要調(diào)整，而且為了防止振蕩現(xiàn)象出現(xiàn)，學(xué)習(xí)的步幅必須取為較小的數(shù)值，這就使學(xué)習(xí)速度非常緩慢。（4）在完成分類功能時(shí)如果被區(qū)分的客體類別數(shù)超出了神經(jīng)網(wǎng)絡(luò)可
3、區(qū)分的最大極限，而學(xué)習(xí)方式仍按照原來(lái)方式進(jìn)行，那么根本不可能給出正確的學(xué)習(xí)結(jié)果。（5）有可能陷入均方誤差的局部最小點(diǎn)，從而造成錯(cuò)誤的分類結(jié)果。（6）誤差準(zhǔn)則是固定的，不能隨著環(huán)境的變化而進(jìn)行相應(yīng)的調(diào)整或改變。（1）自主的（自治的）；（2）自組織；（3）自學(xué)習(xí)；（4）聯(lián)想（雙向）。這正是自適應(yīng)諧振理論（ART）的研究出發(fā)點(diǎn)。競(jìng)爭(zhēng)學(xué)習(xí)的原理可借助于圖5.1給出的示意圖加以描述。第一步，我們暫且不考慮圖中虛線表示的自穩(wěn)機(jī)制部分。假設(shè)輸入觀察矢量是一個(gè)N維二進(jìn)矢量X，X=[x0x1…xN-1]，它的各個(gè)分量只能取0或1，即xj=0或1，j=
4、0~（N-1）。系統(tǒng)的輸出是一個(gè)M維二進(jìn)矢量Y，Y=[y0y1…yM-1]，它的各個(gè)分量也只能取值為0或1。此系統(tǒng)分成三層，F(xiàn)2和F1分別稱為上、下短期記憶層，并記之為STM（STM是“shorttimememory”的縮寫(xiě)，F(xiàn)2和F1之間是一個(gè)長(zhǎng)期記憶層，記之為L(zhǎng)TM（“l(fā)ongtimememory”的縮寫(xiě)）。各層的運(yùn)算功能分別介紹如下：F1層（STM）此層的輸入是觀察矢量X，輸出是N維矢量S，S=[s0s1…sN-1]。在最簡(jiǎn)單的情況下，S的各個(gè)分量Sj可以用下列公式計(jì)算：j=0~(N-1)（5-1）易于證明，矢量S的模為1,。
5、這就是說(shuō)，F(xiàn)1層的作用是使任何輸入觀察矢量規(guī)格化，即使之成為具有同樣模值的矢量。F1和F2之間的中層（LTM）在此層由矢量S計(jì)算出一個(gè)M維矢量，T=[t0t1…tM-1]。T的各分量按下式計(jì)算：（5-2）由于其中的各權(quán)值系數(shù)wij的變化相對(duì)于F1、F2而言緩慢得多（下面將指出，每輸入一次觀察矢量，它們只作微小的變化），所以它們保留的是系統(tǒng)的長(zhǎng)期記憶內(nèi)容。F2層（STM）此層的作用是由矢量T計(jì)算輸出矢量Y，其計(jì)算公式為若（5-3）可以看出，在輸出層F2進(jìn)行的是一種競(jìng)爭(zhēng)抉擇運(yùn)算：在t0～tM-1之間，有一個(gè)最大的分量，其對(duì)應(yīng)輸出即定為1
6、，而所有其它分量所對(duì)應(yīng)的輸出皆定為0。下面討論此系統(tǒng)用于分類時(shí)的學(xué)習(xí)策略在學(xué)習(xí)開(kāi)始以前，首先需要對(duì)LTM層中的各個(gè)權(quán)值系數(shù)置以隨機(jī)初值wij（0），然后依次送入觀察矢量X（k），隨時(shí)按照下列公式將各個(gè)權(quán)重系數(shù)調(diào)整成一組新的數(shù)值：j=0~(N-1),i=0~(M-1)（5-4）其中α是步幅值，取一個(gè)小正數(shù)值?？梢钥吹剑捎谠趛0(k)~yM-1(k)之中只有一項(xiàng)等于1而其它各項(xiàng)皆為0，因而只有與該非零項(xiàng)相應(yīng)的權(quán)值系數(shù)才做調(diào)整，也就是說(shuō)，只改變與競(jìng)爭(zhēng)得勝者有關(guān)的各個(gè)權(quán)重系數(shù)，而其它所有權(quán)重值系數(shù)皆維持不變。對(duì)于競(jìng)爭(zhēng)得勝者，與其有關(guān)的各權(quán)
7、重系數(shù)的調(diào)整策略是使各wij（此處設(shè)得勝者的編號(hào)為i=I）與規(guī)格化輸入矢量S（k）的各分量Sj（k）趨于一致。如果設(shè)Wj=[wI0wI1…wIN-1]，那么這種調(diào)整就是使WI趨向于S（k）。由于，所以調(diào)整的結(jié)果也是使趨向于1。由于這種算法中只有競(jìng)爭(zhēng)得勝者的有關(guān)系數(shù)才有機(jī)會(huì)進(jìn)行學(xué)習(xí)，所以稱之競(jìng)爭(zhēng)學(xué)習(xí)算法。若通過(guò)學(xué)習(xí)，不同客體的觀察矢量集合都找到了各自相應(yīng)的得勝輸出分量，因而根據(jù)得勝者的編號(hào)就能自然地對(duì)它們進(jìn)行分類（classification）。這種通過(guò)競(jìng)爭(zhēng)學(xué)習(xí)完成分類功能的過(guò)程也可以用其它術(shù)語(yǔ)稱之為聚類（cluster）、分割（pa
8、rtition）、編碼（coding）、正交化（orthogonalization）或自適應(yīng)矢量量化（adaptiveVQ），在思維心理學(xué)中常稱之為分類感知（categoricalperception）?？梢钥吹剑绻斎胗^察矢量所表
