資源描述：
《云計(jì)算平臺(tái)作業(yè)調(diào)度算法優(yōu)化研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、單位代碼10445學(xué)號(hào)2011021096分類號(hào)TP391研究生類別全日制碩士學(xué)位論文論文題目云計(jì)算平臺(tái)作業(yè)調(diào)度算法優(yōu)化研究學(xué)科專業(yè)名稱計(jì)算機(jī)軟件與理論申請(qǐng)人姓名徐鵬指導(dǎo)教師王紅教授論文提交時(shí)間2014年5月30日萬方數(shù)據(jù)獨(dú)創(chuàng)聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得（注：如沒有其他需要特別聲明的，本欄可空）或其他教育機(jī)構(gòu)的學(xué)位或證書使用過的材料。與我一同工作的同
2、志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。學(xué)位論文作者簽名：學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借閱。本人授權(quán)學(xué)?？梢詫W(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后適用本授權(quán)書）學(xué)位論文作者簽名：導(dǎo)師簽字：簽字日期：20年月日簽字日期：20年月日萬方數(shù)據(jù)山東師范大學(xué)碩士學(xué)位論文云計(jì)算平臺(tái)作業(yè)調(diào)
3、度算法優(yōu)化研究摘要隨著互聯(lián)網(wǎng)規(guī)模的不斷增加，用戶大量的數(shù)據(jù)需要進(jìn)行處理和存儲(chǔ)，傳統(tǒng)的服務(wù)器集群無法滿足用戶大數(shù)據(jù)的需求?，F(xiàn)在云計(jì)算已經(jīng)成為一個(gè)最典型的解決方案，它為用戶提供了海量數(shù)據(jù)處理、海量數(shù)據(jù)存儲(chǔ)、按需獲取計(jì)算能力等服務(wù)。云計(jì)算概念一經(jīng)提出就受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，許多公司都推出了自己的云計(jì)算平臺(tái)。其中，大多數(shù)云計(jì)算平臺(tái)是使用Hadoop開發(fā)的，Hadoop是一個(gè)運(yùn)行在大型集群上進(jìn)行大數(shù)據(jù)存儲(chǔ)和并行計(jì)算的分布式開源框架，它將底層的并行化對(duì)開發(fā)者透明，應(yīng)用程序的開發(fā)者只需要按照接口要求實(shí)現(xiàn)代碼
4、就能實(shí)現(xiàn)分布式處理。但是，Hadoop是一個(gè)比較新的平臺(tái)，許多地放還不夠成熟，需要改進(jìn)的地方也很多。Hadoop平臺(tái)的性能與其作業(yè)調(diào)度算法密切相關(guān)，選擇合適的調(diào)度算法對(duì)Hadoop平臺(tái)的資源利率和系統(tǒng)吞吐量有很大的影響。但是，Hadoop中現(xiàn)有的調(diào)度算法有許多不足之處，因此，研究Hadoop平臺(tái)作業(yè)調(diào)度算法，并進(jìn)行優(yōu)化和改進(jìn)，對(duì)Hadoop平臺(tái)性能的提升具有重大意義。本文主要完成了以下工作：1、對(duì)云計(jì)算技術(shù)進(jìn)行了介紹，重點(diǎn)分析了Hadoop平臺(tái)的技術(shù)背景和組成架構(gòu)，詳細(xì)分析了HDFS文件系統(tǒng)的讀寫流程和
5、MapReduce編程框架。2、對(duì)Hadoop平臺(tái)下的作業(yè)調(diào)度流程進(jìn)行了深入的剖析，重點(diǎn)介紹了現(xiàn)有的幾種作業(yè)調(diào)度算法：FIFO調(diào)度算法、計(jì)算能力調(diào)度算法、公平份額調(diào)度算法和LATE調(diào)度算法，分析了他們的算法思想和主要優(yōu)缺點(diǎn)。3、針對(duì)現(xiàn)有調(diào)度算法不適應(yīng)異構(gòu)環(huán)境的問題，提出了一種改進(jìn)的調(diào)度算法，該算法根據(jù)系統(tǒng)信息，將作業(yè)進(jìn)行分類，并做出調(diào)度策略。通過優(yōu)化算法將作業(yè)與節(jié)點(diǎn)進(jìn)行匹配，提高系統(tǒng)的整體性能。4、針對(duì)現(xiàn)有調(diào)度算法未考慮作業(yè)和節(jié)點(diǎn)的負(fù)載類型的問題，提出了一種基于資源感知的調(diào)度算法，該算法將作業(yè)和節(jié)點(diǎn)類型
6、進(jìn)行劃分，并按照節(jié)點(diǎn)的負(fù)載情況選擇合適的任務(wù)進(jìn)行調(diào)度。5、為了驗(yàn)證算法的性能，搭建了Hadoop實(shí)驗(yàn)集群，并收集了大量測(cè)試數(shù)據(jù)對(duì)算法的性能進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，我們提出的兩種調(diào)度算法能夠很好的提升Hadoop平臺(tái)的性能。關(guān)鍵詞：云計(jì)算；Hadoop；MapReduce；作業(yè)調(diào)度；資源感知；異構(gòu)；I萬方數(shù)據(jù)山東師范大學(xué)碩士學(xué)位論文JobschedulingalgorithmoptimizationofthecloudplatformAbstractAstheInternetscalekeepsgrowi
7、ngup,enormoususer’sdataneedstobeprocessedandstorage.Traditionalserverclustercannotmeettheneedsofusers.Cloudcomputingisnowbecomingaleadingexamplesolutionforthis.Itprovidesuserswithmassivedataprocessing,massdatastorage,on-demandaccesstocomputingpowerandoth
8、erservices.Aftertheconceptofcloudcomputingisintroduced,itiswidelyconcernedbyacademiaandindustry.Manycompanieshavelaunchedtheirowncloudcomputingplatform.Amongthem,mostcloudcomputingplatformisdevelopedbyHadoop.Hadoopisanopen
