資源描述：
《基于狀態(tài)矩陣的hadoop yarn節(jié)能調度策略的研究》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。
1、碩士學位論文基于狀態(tài)矩陣的HadoopYARN節(jié)能調度策略的研究RESEARCHONTHEENERGY-EFFICIENTHADOOPYARNRESOURCESCHEDULINGSTRATEGYBASEDONSTATEMATRIX何澤宇哈爾濱工業(yè)大學2016年6月國內圖書分類號：TP393學校代碼：10213國際圖書分類號：004.9密級：公開工程碩士學位論文基于狀態(tài)矩陣的HadoopYARN節(jié)能調度策略的研究碩士研究生：何澤宇導師：翟健宏副教授申請學位：工程碩士學科：計算機科學與技術所在單位：計算機科學與技術學院答辯日期：2
2、016年6月授予學位單位：哈爾濱工業(yè)大學ClassifiedIndex:TP393U.D.C:004.9DissertationfortheMasterDegreeinEngineeringRESEARCHONTHEENERGY-EFFICIENTHADOOPYARNRESOURCESCHEDULINGSTRATEGYBASEDONSTATEMATRIXCandidate：HeZeyuSupervisor：AssociateProf.ZhaiJianhongAcademicDegreeAppliedfor：MasterofEn
3、gineeringSpeciality：ComputerScienceandTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June,2016Degree-Conferring-Institution：HarbinInstituteofTechnology哈爾濱工業(yè)大學工程碩士學位論文摘要隨著云計算集群規(guī)模的快速擴張，其所帶來的能量消耗和成本越來越巨大，不論從經濟角度還是環(huán)保角度，如何降低集群的能量消耗，實現(xiàn)“綠色計算”，已經成為急
4、需解決的問題，“綠色計算”也是當前云計算領域的一個研究熱點。作為開源云計算平臺系統(tǒng)中的佼佼者，Hadoop的應用變得越來越廣泛，包括互聯(lián)網、金融、醫(yī)療、零售等行業(yè)開始使用Hadoop。本文從實際角度出發(fā)，以集群資源調度策略作為切入點，針對HadoopYARN系統(tǒng)，研究了基于狀態(tài)矩陣的節(jié)能調度策略，并結合HadoopYARN系統(tǒng)組成結構和實現(xiàn)原理，實現(xiàn)了一個YARN節(jié)能資源調度器。本文設計的節(jié)能資源調度策略主要有兩個原則：（1）服務最優(yōu)原則，即在資源調度時，其所選擇的任務在對應節(jié)點應該能夠獲得較為高效的服務；（2）能耗最低原則，
5、在保證服務的基礎上，最終選擇的任務應是所有任務中使得節(jié)點功耗最低的一個。為了滿足以上兩個調度原則，需要對集群各個節(jié)點的負載情況進行監(jiān)控，為此本文構建了一個用于描述集群節(jié)點負載情況的狀態(tài)矩陣，并以狀態(tài)矩陣為基礎，設計了負載預測模型對節(jié)點未來狀態(tài)進行估算，設計了功率計算模型，根據(jù)負載狀態(tài)對節(jié)點功率進行計算。在節(jié)能調度流程上，本文首先依據(jù)應用的資源使用特征對應用進行了聚類分析，具體的調度策略分為兩個階段：（1）根據(jù)節(jié)點的負載預測數(shù)據(jù)以及應用的資源使用特征，以服務最優(yōu)原則選擇適合在此節(jié)點運行的備選應用集；（2）依據(jù)能耗最低原則，在備選
6、應用集中，依據(jù)功率計算模型，選擇一個能夠使節(jié)點功率最低的作為目標應用。在以上研究基礎上，本文通過分析HadoopYARN各個組件的功能以及調度器實現(xiàn)原理，將節(jié)能資源調度的各功能模塊在原系統(tǒng)中進行了實現(xiàn)。通過對重新設計過的系統(tǒng)進行完全分布式部署測試，節(jié)能調度的資源監(jiān)控、能耗計算、負載預測以及資源調度等主要功能均能正常工作。通過設計對比實驗對節(jié)能調度器、FIFOScheduler、CapacityScheduler進行了比較，結果表明，節(jié)能調度器在保證了執(zhí)行效率的基礎上，在降低集群整體能耗方面有著一定效果。關鍵詞：云計算；綠色計算
7、；HadoopYARN；節(jié)能資源調度；-I-哈爾濱工業(yè)大學工程碩士學位論文AbstractWiththerapidexpansionofcloudcomputingclustersize,theenergyconsumptionandcostsismoreandmoreenormous,howtoreducetheenergyconsumptionofclusters,"greencomputing",hasbecomeanurgentissuebothintermsofeconomicandenvironmentalpers
8、pective."Greencomputing"isalsocurrentlyaresearchtopicinthefieldofcloudcomputing.Astheleaderinopensourcecloudcomputingplatformsystem,Hadoop
