資源描述：
《BP算法及其優(yōu)缺點.ppt》由會員上傳分享，免費在線閱讀，更多相關內容在行業(yè)資料-天天文庫。
1、BP算法及其優(yōu)缺點－－誤差反傳（ErrorBackPropagation）算法的改進與BP網絡設計基于BP算法的多層感知器的模型三層BP網絡輸入層隱層輸出層模型的數學表達輸入向量：X=(x1,x2,…,xi,…,xn)T隱層輸出向量：Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權值矩陣：W=(W1,W2,…,Wk,…,Wl)各個變量之間如何建立聯系，
2、來描述整個網絡？神經網絡的學習學習的過程：神經網絡在外界輸入樣本的刺激下不斷改變網絡的連接權值乃至拓撲結構，以使網絡的輸出不斷地接近期望的輸出。學習的本質：對可變權值的動態(tài)調整學習規(guī)則：權值調整規(guī)則，即在學習過程中網絡中各神經元的連接權變化所依據的一定的調整規(guī)則。BP算法是一種學習規(guī)則BP算法的基本思想學習的類型：有導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學習的過程：信號的正向傳播誤差的反向傳播將誤差分攤給各層的所有單元－－－各層單元的誤差信號修正各單元權值BP算法的學習過程正向傳播：輸入樣本－－－輸入層－－－各隱
3、層－－－輸出層判斷是否轉入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權值網絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數為止建立權值變化量與誤差之間的關系輸出層與隱層之間的連接權值調整隱層和輸入層之間的連接權值調整j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中負號表示梯度下降，常數η∈(0,1)表示比例系數，反映了訓練速率。可以看出BP算法屬于δ學習規(guī)則類，這類算法常被稱為誤差的梯度下
4、降(GradientDescent)算法。BP算法的程序實現(1)初始化；(4)計算各層誤差信號；(5)調整各層權值；(6)檢查是否對所有樣本完成一次輪訓；(7)檢查網絡總誤差是否達到精度要求。(2)輸入訓練樣本對X?Xp、d?dp計算各層輸出；(3)計算網絡輸出誤差；BP算法的程序實現然后根據總誤差計算各層的誤差信號并調整權值。另一種方法是在所有樣本輸入之后，計算網絡的總誤差：BP網絡的主要功能(1)非線性映射能力多層前饋網能學習和存貯大量輸入-輸出模式映射關系，而無需事先了解描述這種映射關系的數學方程。只要能提供足夠多的樣本模式對供
5、BP網絡進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。多層前饋網的主要能力(2)泛化能力當向網絡輸入訓練時未曾見過的非樣本數據時，網絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網的泛化能力。(3)容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網絡的輸入輸出規(guī)律影響很小。誤差曲面與BP算法的局限性誤差函數的可調整參數的個數nw等于各層權值數加上閾值數，即：誤差E是nw+1維空間中一個形狀極為復雜的曲面，該曲面上的每個點的“高度”對應于一個誤差值，每個點的坐標向量對應著nw個權值，因此稱這樣的空間為誤差
6、的權空間。誤差曲面的分布－－BP算法的局限性曲面的分布特點--------算法的局限性(1)存在平坦區(qū)域--------誤差下降緩慢，影響收斂速度(2)存在多個極小點------易陷入局部最小點曲面分布特點1：存在平坦區(qū)域平坦－－誤差的梯度變化?。咏诹愦嬖谄教箙^(qū)域的原因分析接近于零的情況分析造成平坦區(qū)的原因：各節(jié)點的凈輸入過大對應著誤差的某個谷點平坦區(qū)曲面分布特點2：存在多個極小點誤差梯度為零多數極小點都是局部極小，即使是全局極小往往也不是唯一的。單權值雙權值曲面分布特點2：存在多個極小點BP算法－－－以誤差梯度下降為權值調整原則
7、誤差曲面的這一特點－－－使之無法辨別極小點的性質導致的結果：因而訓練經常陷入某個局部極小點而不能自拔，從而使訓練無法收斂于給定誤差。標準BP算法的改進－－引言誤差曲面的形狀－－固有的算法的作用是什么？調整權值，找到最優(yōu)點那么如何更好地調整權值？利用算法使得權值在更新的過程中，‘走’合適的路徑，比如跳出平坦區(qū)來提高收斂速度，跳出局部最小點等等如何操作？需要在進入平坦區(qū)或局部最小點時進行一些判斷，通過改變某些參數來使得權值的調整更為合理。標準的BP算法內在的缺陷：⑴易形成局部極小而得不到全局最優(yōu)；⑵訓練次數多使得學習效率低，收斂速度慢；⑶隱
8、節(jié)點的選取缺乏理論指導；⑷訓練時學習新樣本有遺忘舊樣本的趨勢。針對上述問題，國內外已提出不少有效的改進算法，下面僅介紹其中3種較常用的方法。3.5標準BP算法的改進改進1：增加動量項改進2：自適應調節(jié)學習率
