時延情形下的分布式隨機無梯度優(yōu)化算法[權(quán)威資料]

《時延情形下的分布式隨機無梯度優(yōu)化算法[權(quán)威資料]》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、時延情形下的分布式隨機無梯度優(yōu)化算法　　摘要：由于多個體系統(tǒng)在信息交流的過程中存在通信時延，系統(tǒng)會出現(xiàn)接收信息滯后的情況，從而影響優(yōu)化算法的收斂速度。為了解決時延對優(yōu)化算法產(chǎn)生的影響，提出了時延情形下的多個體系統(tǒng)分布式隨機無梯度優(yōu)化算法。假定系統(tǒng)中每個個體僅知道其自身的局部目標函數(shù)，利用系統(tǒng)中個體間交互時延信息來尋求這些局部目標函數(shù)之和的最小值，通過系統(tǒng)擴維將有時延的優(yōu)化問題轉(zhuǎn)化為無時延的優(yōu)化問題。由于個體的局部目標函數(shù)有可能非凸故其次梯度不一定存在或很難計算，因而采用分布式隨機無梯度方法。理論分析表明只要個體間的通信時延有上界，所提算法依然收斂?！　￡P(guān)鍵

2、詞：多個體系統(tǒng)；分布式優(yōu)化；隨機無梯度；通信時延　　TP13文獻標志碼：A1672-1098（2016）01-0034-06　　Abstract：Consideringthedelayofinformationcommunicationamongagents，whichaffecttheconvergencespeedofthealgorithm，therandomizedgradient-freemethodformulti-agentoptimizationwithcommunicationdelaywasproposed，whereit'sassum

3、edthateveryagentonlyknowsitsownlocalobjectivefunction.Theoptimizationgoalistominimizeasumoflocalobjectivefunctionsthroughtheinteractionofdelayinformationamongagentsinthesystem.Firstly，theoptimizationproblemwithdelaywasconvertedintotheoptimizationproblemwithoutdelaythroughaugmentin

4、gdelaynodes.Becausethelocalobjectivefunctionofagentislikelytobenonconvex，itssubgradientdoesnotexistoritishardtobecalculated，thedistributedrandomizedgradient-freemethodwasused.Thetheoreticalanalysisshowedthattheproposedalgorithmisstillconvergentifthecommunicationdelaysareupperbound

5、ed.　　Keywords：multi-agentsystem；distributedoptimization；randomizedgradient-free，communicationdelay　　近年來，多個體分布式凸優(yōu)化問題及其優(yōu)化算法引起了人們的廣泛關(guān)注，而多個體分布式優(yōu)化算法是在集總式算法的基礎(chǔ)上發(fā)展起來的。所謂集總式算法是指在多個體系統(tǒng)中，不是所有個體都發(fā)揮同樣的作用，只有某個個體處于中心地位，負責處理其他個體的數(shù)據(jù)，并將數(shù)據(jù)反饋給其他個體。和集總式算法不同，分布式算法則是指多個體系統(tǒng)中的每個個體都對應(yīng)著一個局部凸目標函數(shù)，并且個體之間進行信息

6、交流，最終求得凸目標函數(shù)的最小值。和以往的集總式算法相比，分布式算法有很多優(yōu)點，尤其在許多大規(guī)模的優(yōu)化問題中占有很大優(yōu)勢，并且在生物工程、人工智能等許多領(lǐng)域有廣泛應(yīng)用，因此研究多個體的分布式優(yōu)化算法有很大的意義?！　‰S著計算機的廣泛應(yīng)用，人們進入了大數(shù)據(jù)云計算的時代，因此對多個體分布式優(yōu)化的研究也越來越深入。但這些方法主要是標準次梯度和一致性算法的結(jié)合。標準次梯度算法是將總的最優(yōu)化任務(wù)分解，同時每個個體需要將自身的信息與周圍鄰居個體的信息進行加權(quán)組合，再根據(jù)自身的次梯度信息進行最優(yōu)化，經(jīng)過一系列的迭代運算，使得所有個體的狀態(tài)都達到一致。事實上，一致性算法也

7、是廣泛研究的一個課題，即個體間通過信息交流使所有個體的狀態(tài)最終達到一致并使結(jié)果達到最優(yōu)。文獻[1]最早給出了標準次梯度方法并分析了其收斂性。文獻[2]922介紹了約束一致性和優(yōu)化算法。在此基礎(chǔ)上，文獻[3]則介紹了基于隨機投影的次梯度算法，文獻[4]1715給出一種基于一致性算法的原始對偶次梯度方法。在文獻[4]1720的啟發(fā)下，文獻[5-6]提出了一種分布式對偶平均算法（DDA）以及基于Push-sum的DDA算法。上述研究都是適用于多個體系統(tǒng)中的每個個體對應(yīng)的局部目標函數(shù)存在凸函數(shù)且次梯度的情況。而文獻[7-8]研究的是個體的局部目標函數(shù)是非凸的、次梯

8、度不存在或很難計算的情況，因此文獻[9]提出了一種分布式隨機無梯度