資源描述：
《《BP學(xué)習(xí)算法》PPT課件.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、3.2BP學(xué)習(xí)算法1x2xmxY1Y2ypWmiWijWjpi=(1,2,….J)j=(1,2,…J)含有兩個隱含層的BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)的標準學(xué)習(xí)算法學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對各連接權(quán)值的動態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。BP網(wǎng)絡(luò)的標準學(xué)習(xí)算法-算法思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號的正向傳播誤差的反向傳播將誤差分
2、攤給各層的所有單元－－－各層單元的誤差信號修正各單元權(quán)值BP網(wǎng)絡(luò)的標準學(xué)習(xí)算法-學(xué)習(xí)過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（導(dǎo)師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止BP學(xué)習(xí)的具體算法步驟第一步：設(shè)置變量和參量,為輸入向量，或訓(xùn)練樣本，N為訓(xùn)練樣本的個數(shù)。為第n次迭代輸入層與隱含層I之間的的權(quán)值向量。,為第n次迭代隱含層I與隱含層J之間的的權(quán)值向量。,為第n次
3、迭代隱含層J與輸出層之間的的權(quán)值向量。，為第n次迭代是網(wǎng)絡(luò)的實際輸出。，為期望輸出。為學(xué)習(xí)效率。n為迭代次數(shù)。第二步，初始化,賦給各一個較小的隨機非零值，n=0。第三步，隨機輸入樣本第四步，對輸入樣本，前向計算BP網(wǎng)絡(luò)每層神經(jīng)元的輸入信號u和輸出信號v。其中第五步，由期望值輸出和上一步求得的實際輸出計算誤差E（n）,判斷是否滿足要求，若滿足轉(zhuǎn)至第八步；不滿足轉(zhuǎn)至第六步。第六步，判斷是否大于最大迭代次數(shù)，若大于轉(zhuǎn)至第八步，若不大于，對輸入樣本，反向計算每層神經(jīng)元的局部梯度。其中第七步，按下式計算權(quán)值修正量，并修正權(quán)值；n=n
4、+1，轉(zhuǎn)至第四步。第八步，判斷是否學(xué)完所有的訓(xùn)練樣本，是則結(jié)束，否則轉(zhuǎn)至第三步。BP學(xué)習(xí)注意的問題一、BP學(xué)習(xí)時權(quán)值初始值的選擇初始值應(yīng)選為均勻分布的小數(shù)經(jīng)驗值，大概為(-2.4/F,2.4/F)之間。并將初始權(quán)值設(shè)為隨機數(shù)。用matlab可用以下語句=rand(,)二、當神經(jīng)元的激勵函數(shù)是sigmoid函數(shù)時，應(yīng)設(shè)期望值輸出為相應(yīng)的小數(shù)。三、BP算法訓(xùn)練網(wǎng)絡(luò)的方式：順序方式和批處理方式。順序方式：臨時存儲空間小，訓(xùn)練速度快批處理方式：精確的計算梯度向量，誤差收斂條件簡單，易與并行處理。四、學(xué)習(xí)步長的選擇過大或過小都不好，
5、關(guān)系著權(quán)值的變化和BP的收斂速度，過大會引起振蕩。通常調(diào)整值使網(wǎng)絡(luò)中和各神經(jīng)元的學(xué)習(xí)速度相差不多。還可以通過加入“動量項”的方法。五、局部梯度的計算，需要激勵函數(shù)的導(dǎo)數(shù)。通常選奇函數(shù)作為激勵函數(shù)，非線性的sigmoid函數(shù)，有兩種形式：邏輯函數(shù)和雙曲正切函數(shù)六、誤差E（n）的判斷順序方式：批處理方式：每個訓(xùn)練周期的平均誤差Eav其變化量在0.1%-1%之間。七、訓(xùn)練樣本的輸入在第一步設(shè)置時，一般是同一類的訓(xùn)練樣本其期望輸出相同。八、輸入信號歸一化使所有樣本的輸入信號其均值接近零或與其標準方差相比比較小。歸一化輸入信號應(yīng)注意
6、：（1）用主向量分析法使訓(xùn)練樣本的輸入信號互不相關(guān)。（2）歸一化互不相關(guān)的輸入信號，使得他們的方差基本相同，從而是不同權(quán)值的學(xué)習(xí)速度基本相同。九、在學(xué)習(xí)過程或中可以利用out（.）的先驗知識，加快學(xué)習(xí)效率。BP神經(jīng)網(wǎng)絡(luò)的特點非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供網(wǎng)絡(luò)進行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛
7、化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能建立一個前向BP網(wǎng)絡(luò)格式net=newff(PR，[S1S2...SN1]，{TF1TF2...
8、TFN1}，BTF，BLF，PF)說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認為‘tansig’；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認為‘trainlm’；BLF表
