資源描述：
《云計算平臺作業(yè)調度算法優(yōu)化研究》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。
1、單位代碼10445學號2011021096分類號TP391研究生類別全日制碩士學位論文論文題目云計算平臺作業(yè)調度算法優(yōu)化研究學科專業(yè)名稱計算機軟件與理論申請人姓名徐鵬指導教師王紅教授論文提交時間2014年5月30日萬方數(shù)據獨創(chuàng)聲明本人聲明所呈交的學位論文是本人在導師指導下進行的研究工作及取得的研究成果。據我所知，除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經發(fā)表或撰寫過的研究成果，也不包含為獲得（注：如沒有其他需要特別聲明的，本欄可空）或其他教育機構的學位或證書使用過的材料。與我一同工作的同
2、志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。學位論文作者簽名：學位論文版權使用授權書本學位論文作者完全了解學校有關保留、使用學位論文的規(guī)定，有權保留并向國家有關部門或機構送交論文的復印件和磁盤，允許論文被查閱和借閱。本人授權學?？梢詫W位論文的全部或部分內容編入有關數(shù)據庫進行檢索，可以采用影印、縮印或掃描等復制手段保存、匯編學位論文。（保密的學位論文在解密后適用本授權書）學位論文作者簽名：導師簽字：簽字日期：20年月日簽字日期：20年月日萬方數(shù)據山東師范大學碩士學位論文云計算平臺作業(yè)調
3、度算法優(yōu)化研究摘要隨著互聯(lián)網規(guī)模的不斷增加，用戶大量的數(shù)據需要進行處理和存儲，傳統(tǒng)的服務器集群無法滿足用戶大數(shù)據的需求?，F(xiàn)在云計算已經成為一個最典型的解決方案，它為用戶提供了海量數(shù)據處理、海量數(shù)據存儲、按需獲取計算能力等服務。云計算概念一經提出就受到了學術界和工業(yè)界的廣泛關注，許多公司都推出了自己的云計算平臺。其中，大多數(shù)云計算平臺是使用Hadoop開發(fā)的，Hadoop是一個運行在大型集群上進行大數(shù)據存儲和并行計算的分布式開源框架，它將底層的并行化對開發(fā)者透明，應用程序的開發(fā)者只需要按照接口要求實現(xiàn)代碼
4、就能實現(xiàn)分布式處理。但是，Hadoop是一個比較新的平臺，許多地放還不夠成熟，需要改進的地方也很多。Hadoop平臺的性能與其作業(yè)調度算法密切相關，選擇合適的調度算法對Hadoop平臺的資源利率和系統(tǒng)吞吐量有很大的影響。但是，Hadoop中現(xiàn)有的調度算法有許多不足之處，因此，研究Hadoop平臺作業(yè)調度算法，并進行優(yōu)化和改進，對Hadoop平臺性能的提升具有重大意義。本文主要完成了以下工作：1、對云計算技術進行了介紹，重點分析了Hadoop平臺的技術背景和組成架構，詳細分析了HDFS文件系統(tǒng)的讀寫流程和
5、MapReduce編程框架。2、對Hadoop平臺下的作業(yè)調度流程進行了深入的剖析，重點介紹了現(xiàn)有的幾種作業(yè)調度算法：FIFO調度算法、計算能力調度算法、公平份額調度算法和LATE調度算法，分析了他們的算法思想和主要優(yōu)缺點。3、針對現(xiàn)有調度算法不適應異構環(huán)境的問題，提出了一種改進的調度算法，該算法根據系統(tǒng)信息，將作業(yè)進行分類，并做出調度策略。通過優(yōu)化算法將作業(yè)與節(jié)點進行匹配，提高系統(tǒng)的整體性能。4、針對現(xiàn)有調度算法未考慮作業(yè)和節(jié)點的負載類型的問題，提出了一種基于資源感知的調度算法，該算法將作業(yè)和節(jié)點類型
6、進行劃分，并按照節(jié)點的負載情況選擇合適的任務進行調度。5、為了驗證算法的性能，搭建了Hadoop實驗集群，并收集了大量測試數(shù)據對算法的性能進行驗證。實驗結果表明，我們提出的兩種調度算法能夠很好的提升Hadoop平臺的性能。關鍵詞：云計算；Hadoop；MapReduce；作業(yè)調度；資源感知；異構；I萬方數(shù)據山東師范大學碩士學位論文JobschedulingalgorithmoptimizationofthecloudplatformAbstractAstheInternetscalekeepsgrowi
7、ngup,enormoususer’sdataneedstobeprocessedandstorage.Traditionalserverclustercannotmeettheneedsofusers.Cloudcomputingisnowbecomingaleadingexamplesolutionforthis.Itprovidesuserswithmassivedataprocessing,massdatastorage,on-demandaccesstocomputingpowerandoth
8、erservices.Aftertheconceptofcloudcomputingisintroduced,itiswidelyconcernedbyacademiaandindustry.Manycompanieshavelaunchedtheirowncloudcomputingplatform.Amongthem,mostcloudcomputingplatformisdevelopedbyHadoop.Hadoopisanopen
