資源描述：
《基于遺傳BP算法的神經(jīng)網(wǎng)絡及其在模式識別中的應用.pdf》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在行業(yè)資料-天天文庫。
1、第21卷第1期長沙交通學院學報Vol.21No.12005年3月JOURNALOFCHANGSHACOMMUNICATIONSUNIVERSITYMar.2005文章編號:1000-9779(2005)01-0053-04基于遺傳BP算法的神經(jīng)網(wǎng)絡及其在模式識別中的應用王英健,戎麗霞(長沙理工大學,湖南長沙410076)摘要:介紹了傳統(tǒng)的遺傳算法與BP算法,并分析了它們的不足。提出了一種將遺傳算法和BP算法相結(jié)合的遺傳BP算法,在遺傳算法的群體設計中采用小生境技術(shù),防止優(yōu)秀個體早期退化。實驗證明了此方法的正確性和有效性。關鍵
2、詞:BP算法;遺傳算法;小生境技術(shù);神經(jīng)網(wǎng)絡;模式識別中圖分類號:TP13文獻標識碼:A神經(jīng)網(wǎng)絡是近年來人工智能的一個前沿研究領域,應用日趨廣泛,在語音識別、模式識別、圖像處理[1]和工業(yè)控制等領域頗有成效。其中應用最廣泛的是BP網(wǎng)絡。但有效地確定神經(jīng)網(wǎng)絡的參數(shù)和結(jié)構(gòu),一直是神經(jīng)網(wǎng)絡研究的一個重點也是一個難點。由于傳統(tǒng)的神經(jīng)網(wǎng)絡訓練算法———BP算法本質(zhì)上是一種局部尋優(yōu)的方法,存在學習速度慢、容易陷入局部最優(yōu)解等弊端,故需要找到一種更有效的訓練方法。遺傳算法是一種隨機的優(yōu)化與搜索方法,算法搜索軌道有多條,具有良好的并行性、全
3、局優(yōu)化性[2,3]和穩(wěn)健性,但其局部尋優(yōu)能力差,不易獲得全局最優(yōu)解?；诖?本文將兩種算法有機地結(jié)合起來,提出了遺傳BP算法,并在遺傳算法的群體設計中采用小生境技術(shù)。將該算法應用于對格雷碼的模式識別實例中,實驗結(jié)果證明它比單純的BP算法和遺傳算法收斂速度快,而且有更好的識別結(jié)果。1BP算法和遺傳算法及其不足1.1BP算法BP算法由信息的正向傳遞與誤差的反向傳播兩部分組成。在正向傳播過程中,輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層,每一層神經(jīng)元的輸出作用于下一層神經(jīng)元的輸入。如果在輸出層沒有得到期望的輸出,則計算輸出層的誤差
4、變化值,然后轉(zhuǎn)向反向傳播,通過網(wǎng)絡將誤差信號沿原來的連接通路反傳回來修改神經(jīng)元的權(quán)值直到達到期望目標。隨著應用的廣泛,BP網(wǎng)絡存在的問題也日益顯現(xiàn)出來,主要有以下幾點。1)收斂速度慢。即使一個比較簡單的問題,也需成百上千次的學習訓練才能收斂。2)容易陷入局部最優(yōu)解。BP算法在數(shù)學上屬非線性優(yōu)化問題,網(wǎng)絡輸入輸出間的非線性關系致使網(wǎng)絡的誤差或能量函數(shù)是一個具有多極點的非線性空間,而BP算法一味追求的是網(wǎng)絡誤差或能量函數(shù)的單調(diào)下降,也就是說,算法賦予網(wǎng)絡的是只會“下坡”而不會“爬坡”的能力。正因如此,常導致網(wǎng)絡落入局部最小點不能
5、自拔,而達不到全局最小點。所以,有人說它是一種急于求成的“貪心”算法。3)網(wǎng)絡的學習、記憶具有不穩(wěn)定性。一個訓練結(jié)束的BP網(wǎng)絡,當給它提供新的記憶模式時,將使已有的連接權(quán)值打亂,導致已記憶的學習模式的信息消失,要避免這種現(xiàn)象,就必須將原來的學習模式連同新加入的學習模式一起重新進行訓練。4)網(wǎng)絡結(jié)構(gòu)的確定無理論指導。網(wǎng)絡隱層的層數(shù)及隱層單元數(shù)的選取完全憑經(jīng)驗確定,這往往使收稿日期:2004-03-26作者簡介:王英健(1958—),男,長沙理工大學副教授.54長沙交通學院學報第21卷網(wǎng)絡具有很大的冗余性,無形中也增加了網(wǎng)絡的學
6、習時間。1.2遺傳算法遺傳算法以生物進化過程為背景,模擬生物進化的步驟,將繁殖、交差、變異、競爭和選擇等概念引入到算法中,通過維持一組可行解,并通過可行解的重新組合,改進可行解在多維空間的移動軌跡和去向,最終走向最優(yōu)解。它克服了傳統(tǒng)優(yōu)化方法容易陷入局部極值的缺點,是一種全局優(yōu)化算法。標準GA求解過程本質(zhì)上是隨機尋優(yōu)過程,一般不收斂于全局最優(yōu)解,在多數(shù)情況下只能得到全局范圍的次優(yōu)解。綜上所述,可以將GA與BP算法相結(jié)合,形成一種兼有兩者之長的算法———遺傳BP算法。此算法將遺傳算法的全局尋優(yōu)能力與BP算法的指導性搜索思想相結(jié)合
7、,既克服了尋優(yōu)中的盲目性,又避免了局部收斂情況的發(fā)生。2基于遺傳BP算法的神經(jīng)網(wǎng)絡2.1神經(jīng)網(wǎng)絡結(jié)構(gòu)模型神經(jīng)網(wǎng)絡在模式識別、圖像處理等方面的廣泛應用越來越顯示了它解決問題的優(yōu)越性,而其中應用最廣泛的是BP網(wǎng)絡。BP網(wǎng)絡就是前饋多層神經(jīng)網(wǎng)絡,它是由若干個神經(jīng)元以一定的連接方式組成的非線性系統(tǒng),可以模擬復雜的、但不能用確定的數(shù)學公式表達的非線性函數(shù)關系(這個函數(shù)關系是通過節(jié)點間連接權(quán)和節(jié)點閾值的綜合運算來實現(xiàn)的)。本文所討論的網(wǎng)絡只有一個隱層,其網(wǎng)絡結(jié)構(gòu)圖1多層前饋神經(jīng)網(wǎng)絡如圖1所示。2.2神經(jīng)網(wǎng)絡編碼表示因為要對神經(jīng)網(wǎng)絡的結(jié)構(gòu)
8、和權(quán)值同時進行訓練,在訓練過程中不僅要調(diào)整神經(jīng)網(wǎng)絡的權(quán)值,還要調(diào)[4]整神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)。對神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)的調(diào)整,也即對隱層節(jié)點個數(shù)的調(diào)整,涉及到兩方面的問題:一個是增加(刪除)一個隱層節(jié)點,將意味著增加(刪除)n+m(n為輸入節(jié)點個數(shù),m為輸出節(jié)點個數(shù))個與該隱層節(jié)點的連接權(quán);另一個
