次梯度法和共軛梯度法

《次梯度法和共軛梯度法》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、使用導(dǎo)數(shù)的最優(yōu)化方法——梯度法和共軛梯度法無(wú)約束最優(yōu)化問(wèn)題2.梯度法3.共軛梯度法本章研究無(wú)約束最優(yōu)化問(wèn)題。其算法大致分為兩類(lèi)：1：在計(jì)算過(guò)程中要用導(dǎo)目標(biāo)函數(shù)的導(dǎo)數(shù)，本章介紹；2：只用到目標(biāo)函數(shù)值，不必計(jì)算導(dǎo)數(shù)，通常稱(chēng)為直接法。本章主要教授：一.無(wú)約束最優(yōu)化問(wèn)題的最速下降法人們?cè)谔幚磉@類(lèi)問(wèn)題時(shí)，總希望從某一點(diǎn)出發(fā)，選擇一個(gè)目標(biāo)函數(shù)值下降最快的方向，以利于盡快達(dá)到極小點(diǎn)。1847年，Cauchy提出了最速下降法。下面我們先來(lái)討論怎樣選擇最速下降方向。解析方法：利用函數(shù)的解析性質(zhì)構(gòu)造迭代公式使之收斂到最優(yōu)解。梯度法（最速下降法）迭代公式：如何選擇下降最快的方向？梯度法（最速下降法）：梯度法算法

2、步驟：解：最速下降法的收斂性性質(zhì).最速下降法的鋸齒現(xiàn)象在極小點(diǎn)附近，目標(biāo)函數(shù)可以用二次函數(shù)近似，其等值面近似于橢圓面，長(zhǎng)軸和短軸分別位于對(duì)應(yīng)最小特征值和最大特征值得特征向量的方向，其大小與特征值的平方根成反比。最速下降方向反映了目標(biāo)函數(shù)的一種局部性質(zhì)。它只是局部目標(biāo)函數(shù)值下降最快的方向，但從全局看，由于鋸齒現(xiàn)象的影響，即使向著極小點(diǎn)移動(dòng)不太大的距離，也要經(jīng)歷不少的彎路，因此使收斂速率大大減慢。從全局看，它的收斂是比較慢的。因此，最速下降法一般適用于計(jì)算過(guò)程的前期迭代或作為檢查步驟。收斂性定理：設(shè)，水平集有界，則最速下降法或在有限步迭代后停止；或者得點(diǎn)列，它的任何極限點(diǎn)都是的駐點(diǎn)。證明：P6

3、8。二、共軛梯度法1.共軛方向和共軛方向法共軛是正交的推廣。我們以正定二次函數(shù)為例，來(lái)觀察兩個(gè)方向關(guān)于矩陣A共軛的幾何意義：共軛方向法2.共軛梯度法如何選取一組共軛方向？以下分析算法的具體步驟。3.用于一般函數(shù)的共軛梯度法