資源描述：
《前饋型神經(jīng)網(wǎng)絡(luò)模型》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、第三章前饋型神經(jīng)網(wǎng)絡(luò)模型第三章前饋型神經(jīng)網(wǎng)絡(luò)模型3.1感知器（Perception）3.2多層前饋型神經(jīng)網(wǎng)絡(luò)3.3誤差逆?zhèn)鞑ニ惴ǎ˙P算法）3.4誤差逆?zhèn)鞑ニ惴?BP算法)的若干改進(jìn)3.5使用遺傳算法(GA)訓(xùn)練前饋型神經(jīng)網(wǎng)絡(luò)方法3.6前饋型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法2873.7基于算法的前饋型神經(jīng)網(wǎng)絡(luò)在識(shí)別問(wèn)題中的應(yīng)用3.8自適應(yīng)線性元件3.9徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)3873.1感知器（Perception）3.1.1單層感知器3.1.2感知器的收斂定理3.1.3多層感知器網(wǎng)絡(luò)3.1.4感知器用于分類問(wèn)題的算例4873.1.1單層感知器一、單層感知器網(wǎng)絡(luò)單層感知器神經(jīng)網(wǎng)絡(luò)，輸入向量
2、為X=（X1,X2,…,Xm），輸出向量為Y=(Y1,Y2,…,Yn)。感知器的輸入向量為X∈Rn,權(quán)值向量為W∈Rn單元的輸出為Y∈{1,-1}。其中：其中，Xˊ=(X,-1),Wˊ=(W,θ)。587w21wmjw22wmnw12w11xmx1x2y1y2ynθ1θ2θnw1nw2mwmjwijw2jw1jyjθxix1x2xm圖3.1單層感知器網(wǎng)絡(luò)圖3.2最簡(jiǎn)單的感知器wm1687二、單層感知器的學(xué)習(xí)算法令Wn+1=θ,Xn+1=-1,則，具體算法如下：①初始化給Wi(0)各賦一個(gè)較小的隨機(jī)非零值。這里Wi(t)為t時(shí)刻第i個(gè)輸入的權(quán)值（1≤i≤n）,Wn+1(t)
3、為t時(shí)刻的閾值。②輸入樣本X=(X1,X2,…,Xn,T),T稱為教師信號(hào)，在兩類樣本分類中，如果X∈A類，則T=1；如果X∈B類，則T=-1。787③計(jì)算實(shí)際輸出④修正權(quán)值Wi(t+1)=Wi(t)+η(T-Y(t))Xii=(1,2,…,n,n+1)其中，0<η≤1用于控制修正速度，通常η不能太大，會(huì)影響Wi(t)的穩(wěn)定，也不能太小，會(huì)使Wi(t)的收斂速度太慢。⑤轉(zhuǎn)到②直到W對(duì)一切樣本均穩(wěn)定不變?yōu)橹?。用單層感知器可?shí)現(xiàn)部分邏輯函數(shù)，如：X1∧X2：Y=1·X1+1·X2-2即W1=W2=1,θ=2X1∨X2：Y=1·X1+1·X2-0.5即W1=W2=1,θ=0.5
4、：Y=(-1)·X1+0.5即W1=-1，θ=-0.5887三、單層感知器的局限性異或邏輯為，假定單層感知器能實(shí)現(xiàn)異或邏輯，那么，Y=W1X1+W2X2-?，要求：表3.1異或邏輯輸入樣本輸出000011101110987W1+W2-?<0?W1+W2?0+W2-??0?W2>?(a)XOR邏輯(b)AND邏輯(c)OR邏輯圖3.3線性可分性(0,0)(0,0)(0,0)(0,1)(0,1)(0,1)(1,1)(1,1)(1,1)(1,0)(1,0)(1,0)10873.1.2感知器的收斂定理一、線性可分函數(shù)對(duì)給定的X和Y
5、，存在W和θ和線性映像函數(shù)f，使得：f：Rn→{1,-1},X∈Rn,則稱f為線性可分函數(shù)。所謂的線性可分是指存在一個(gè)超平面（二維為一條直線）能將兩類樣本分開(kāi)。對(duì)于上面的異或邏輯可用一個(gè)平面將其輸出類別分開(kāi)。平面方程為：X1W1+X2W2+X3W3=θ，X1W1+X2W2+(X1∧X2)W3=θ。1187表3.2三維異或邏輯輸入樣本輸出00000101100111101287圖3.4異或問(wèn)題的三維表示13871487二、定理3.1感知器收斂定理若函數(shù)f是線性可分的，則感知器的學(xué)習(xí)算法在有限次疊代后收斂。為證明此定理，先做一些簡(jiǎn)化。(1)令‖Xk‖=1(即學(xué)習(xí)樣本都是單位向
6、量)；(2)若Yk<0，則用-Xk代替Xk，因而對(duì)所有的k，都有Yk>0(因f是線性可分的)；這樣，要證明上述定理只要證明以下的結(jié)論即可。1587因?yàn)閗個(gè)樣本是線性可分的，若存在一個(gè)W*，對(duì)所有的樣本k使得W*·Xk>δ都成立，δ>0。則下面步驟中的第④步僅需有限次。①置t=1，選初值W(t)為不等于0的值；②任選k∈{1,N}，置X(t)=Xk；③若W(t)·X(t)≧0返回②，否則④令W(t+1)=W(t)+X(t),t=t+1,返回②。1687證明：C(t)表示向量W(t)與W*間夾角余弦，即W*·W(t+1)=W*·[W(t)+X(t)]=W*·W(t)+W*·X
7、(t)≧W*·W(t)+δ∴W*·W(t)≧tδ‖W(t+1)‖2=‖W(t)‖2+2W(t)·X(t)+‖X(t)‖2<‖W(t)‖2+1∴‖W(t)‖2
