基于遺傳BP算法的神經(jīng)網(wǎng)絡(luò)及其在模式識別中的應(yīng)用.pdf

《基于遺傳BP算法的神經(jīng)網(wǎng)絡(luò)及其在模式識別中的應(yīng)用.pdf》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、第21卷第1期長沙交通學(xué)院學(xué)報Vol.21No.12005年3月JOURNALOFCHANGSHACOMMUNICATIONSUNIVERSITYMar.2005文章編號:1000-9779(2005)01-0053-04基于遺傳BP算法的神經(jīng)網(wǎng)絡(luò)及其在模式識別中的應(yīng)用王英健,戎麗霞(長沙理工大學(xué),湖南長沙410076)摘要:介紹了傳統(tǒng)的遺傳算法與BP算法,并分析了它們的不足。提出了一種將遺傳算法和BP算法相結(jié)合的遺傳BP算法,在遺傳算法的群體設(shè)計中采用小生境技術(shù),防止優(yōu)秀個體早期退化。實驗證明了此方法的正確性和有效性。關(guān)鍵

2、詞:BP算法;遺傳算法;小生境技術(shù);神經(jīng)網(wǎng)絡(luò);模式識別中圖分類號:TP13文獻(xiàn)標(biāo)識碼:A神經(jīng)網(wǎng)絡(luò)是近年來人工智能的一個前沿研究領(lǐng)域,應(yīng)用日趨廣泛,在語音識別、模式識別、圖像處理[1]和工業(yè)控制等領(lǐng)域頗有成效。其中應(yīng)用最廣泛的是BP網(wǎng)絡(luò)。但有效地確定神經(jīng)網(wǎng)絡(luò)的參數(shù)和結(jié)構(gòu),一直是神經(jīng)網(wǎng)絡(luò)研究的一個重點(diǎn)也是一個難點(diǎn)。由于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法———BP算法本質(zhì)上是一種局部尋優(yōu)的方法,存在學(xué)習(xí)速度慢、容易陷入局部最優(yōu)解等弊端,故需要找到一種更有效的訓(xùn)練方法。遺傳算法是一種隨機(jī)的優(yōu)化與搜索方法,算法搜索軌道有多條,具有良好的并行性、全

3、局優(yōu)化性[2,3]和穩(wěn)健性,但其局部尋優(yōu)能力差,不易獲得全局最優(yōu)解?；诖?本文將兩種算法有機(jī)地結(jié)合起來,提出了遺傳BP算法,并在遺傳算法的群體設(shè)計中采用小生境技術(shù)。將該算法應(yīng)用于對格雷碼的模式識別實例中,實驗結(jié)果證明它比單純的BP算法和遺傳算法收斂速度快,而且有更好的識別結(jié)果。1BP算法和遺傳算法及其不足1.1BP算法BP算法由信息的正向傳遞與誤差的反向傳播兩部分組成。在正向傳播過程中,輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層,每一層神經(jīng)元的輸出作用于下一層神經(jīng)元的輸入。如果在輸出層沒有得到期望的輸出,則計算輸出層的誤差

4、變化值,然后轉(zhuǎn)向反向傳播,通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修改神經(jīng)元的權(quán)值直到達(dá)到期望目標(biāo)。隨著應(yīng)用的廣泛,BP網(wǎng)絡(luò)存在的問題也日益顯現(xiàn)出來,主要有以下幾點(diǎn)。1)收斂速度慢。即使一個比較簡單的問題,也需成百上千次的學(xué)習(xí)訓(xùn)練才能收斂。2)容易陷入局部最優(yōu)解。BP算法在數(shù)學(xué)上屬非線性優(yōu)化問題,網(wǎng)絡(luò)輸入輸出間的非線性關(guān)系致使網(wǎng)絡(luò)的誤差或能量函數(shù)是一個具有多極點(diǎn)的非線性空間,而BP算法一味追求的是網(wǎng)絡(luò)誤差或能量函數(shù)的單調(diào)下降,也就是說,算法賦予網(wǎng)絡(luò)的是只會“下坡”而不會“爬坡”的能力。正因如此,常導(dǎo)致網(wǎng)絡(luò)落入局部最小點(diǎn)不能

5、自拔,而達(dá)不到全局最小點(diǎn)。所以,有人說它是一種急于求成的“貪心”算法。3)網(wǎng)絡(luò)的學(xué)習(xí)、記憶具有不穩(wěn)定性。一個訓(xùn)練結(jié)束的BP網(wǎng)絡(luò),當(dāng)給它提供新的記憶模式時,將使已有的連接權(quán)值打亂,導(dǎo)致已記憶的學(xué)習(xí)模式的信息消失,要避免這種現(xiàn)象,就必須將原來的學(xué)習(xí)模式連同新加入的學(xué)習(xí)模式一起重新進(jìn)行訓(xùn)練。4)網(wǎng)絡(luò)結(jié)構(gòu)的確定無理論指導(dǎo)。網(wǎng)絡(luò)隱層的層數(shù)及隱層單元數(shù)的選取完全憑經(jīng)驗確定,這往往使收稿日期:2004-03-26作者簡介:王英健(1958—),男,長沙理工大學(xué)副教授.54長沙交通學(xué)院學(xué)報第21卷網(wǎng)絡(luò)具有很大的冗余性,無形中也增加了網(wǎng)絡(luò)的學(xué)

6、習(xí)時間。1.2遺傳算法遺傳算法以生物進(jìn)化過程為背景,模擬生物進(jìn)化的步驟,將繁殖、交差、變異、競爭和選擇等概念引入到算法中,通過維持一組可行解,并通過可行解的重新組合,改進(jìn)可行解在多維空間的移動軌跡和去向,最終走向最優(yōu)解。它克服了傳統(tǒng)優(yōu)化方法容易陷入局部極值的缺點(diǎn),是一種全局優(yōu)化算法。標(biāo)準(zhǔn)GA求解過程本質(zhì)上是隨機(jī)尋優(yōu)過程,一般不收斂于全局最優(yōu)解,在多數(shù)情況下只能得到全局范圍的次優(yōu)解。綜上所述,可以將GA與BP算法相結(jié)合,形成一種兼有兩者之長的算法———遺傳BP算法。此算法將遺傳算法的全局尋優(yōu)能力與BP算法的指導(dǎo)性搜索思想相結(jié)合

7、,既克服了尋優(yōu)中的盲目性,又避免了局部收斂情況的發(fā)生。2基于遺傳BP算法的神經(jīng)網(wǎng)絡(luò)2.1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型神經(jīng)網(wǎng)絡(luò)在模式識別、圖像處理等方面的廣泛應(yīng)用越來越顯示了它解決問題的優(yōu)越性,而其中應(yīng)用最廣泛的是BP網(wǎng)絡(luò)。BP網(wǎng)絡(luò)就是前饋多層神經(jīng)網(wǎng)絡(luò),它是由若干個神經(jīng)元以一定的連接方式組成的非線性系統(tǒng),可以模擬復(fù)雜的、但不能用確定的數(shù)學(xué)公式表達(dá)的非線性函數(shù)關(guān)系(這個函數(shù)關(guān)系是通過節(jié)點(diǎn)間連接權(quán)和節(jié)點(diǎn)閾值的綜合運(yùn)算來實現(xiàn)的)。本文所討論的網(wǎng)絡(luò)只有一個隱層,其網(wǎng)絡(luò)結(jié)構(gòu)圖1多層前饋神經(jīng)網(wǎng)絡(luò)如圖1所示。2.2神經(jīng)網(wǎng)絡(luò)編碼表示因為要對神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

8、和權(quán)值同時進(jìn)行訓(xùn)練,在訓(xùn)練過程中不僅要調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)值,還要調(diào)[4]整神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。對神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的調(diào)整,也即對隱層節(jié)點(diǎn)個數(shù)的調(diào)整,涉及到兩方面的問題:一個是增加(刪除)一個隱層節(jié)點(diǎn),將意味著增加(刪除)n+m(n為輸入節(jié)點(diǎn)個數(shù),m為輸出節(jié)點(diǎn)個數(shù))個與該隱層節(jié)點(diǎn)的連接權(quán);另一個