云計算環(huán)境下基于mapreduce的資源調(diào)度模型和算法研究

《云計算環(huán)境下基于mapreduce的資源調(diào)度模型和算法研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。

1、0}▲、分類號UDC密級單位代碼lOl51云計算環(huán)境下基于MapReduce的資源調(diào)度模型和算法研究陶韜指導教師劉朝斌職稱學位授予單位大連海事大學副教授申請學位級別工程碩士學科(專業(yè))計算機技術(shù)論文完成日期2012年5月答辯日期2012年6月答辯委員會主席Ir，◆J土●●rMapReduce—basedResourceschedulingModelandAlgorithmResearchincloudenvironmentAthesisSubmittedtoDalianMaritimeUniversityInpartialfulfillmentoftherequir

2、ementsforthedegreeofMasterofEngineeringTao(ComputerTechnology)ThesisSupervisor：AssociateProfessorZhaobinLiuJune2012Ⅲ7Ⅲ9㈣9Ⅲ8㈣0Ⅲ2肌Y◆。弋r★；一◆≯I夕。I■帆’0l大連海事大學學位論文原創(chuàng)性聲明和使用授權(quán)說明原創(chuàng)性聲明本人鄭重聲明：本論文是在導師的指導下，獨立進行研究工作所取得的成果，撰寫成博／碩士學位論文“云讓篡巫撞工基±叢塑B曼垂墜盟的資透調(diào)廑搓型塑篡洼硒究"。除論文中已經(jīng)注明引用的內(nèi)容外，對論文的研究做出重要貢獻的個人和集體，均已在

3、文中以明確方式標明。本論文中不包含任何未加明確注明的其他個人或集體已經(jīng)公開發(fā)表或未公開發(fā)表的成果。本聲明的法律責任由本人承擔。，，hl'f-f學位論文作者簽名：!蘭監(jiān)魚學位論文版權(quán)使用授權(quán)書本學位論文作者及指導教師完全了解大連海事大學有關(guān)保留、使用研究生學位論文的規(guī)定，即：大連海事大學有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交學位論文的復印件和電子版，允許論文被查閱和借閱。本人授權(quán)大連海事大學可以將本學位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，也可采用影印、縮印或掃描等復制手段保存和匯編學位論文。同意將本學位論文收錄到《中國優(yōu)秀博碩士學位論文全文數(shù)據(jù)庫》(中國學術(shù)期刊(

4、光盤版)電子雜志社)、《中國學位論文全文數(shù)據(jù)庫》(中國科學技術(shù)信息研究所)等數(shù)據(jù)庫中，并以電子出版物形式出版發(fā)行和提供信息服務。保密的論文在解密后遵守此規(guī)定。本學位論文屬于：保密口在年解密后適用本授權(quán)書。不保密甌／；請在以上方框內(nèi)打··√，，)?一：哺?嘲耷仍，◆鼻，，1^■-似}i0中文摘要摘要MapReduce作為一種新興起來的云計算編程模型，在大規(guī)模密集型數(shù)據(jù)的應用方面，如網(wǎng)頁檢索，科學計算與數(shù)據(jù)挖掘等，得到了廣泛的應用。MapReduce庫為設(shè)計者提供了～種硬件透明的開發(fā)壞境，使其方便存儲和使用，簡化了以往并行計算架構(gòu)對底層操作困難等問題，基于MapRedu

5、ce的系統(tǒng)自身有著獨立的存儲，高擴展性以及良好的容錯處理機制等優(yōu)點。盡管MapReduce自身有著以上優(yōu)勢，但由于現(xiàn)階段的機制并沒有成熟，資源調(diào)度一直以來成為限制其執(zhí)行效率的最大問題之一。面向異構(gòu)環(huán)境下的設(shè)備和應用情況，采用Hadoop開源實現(xiàn)，本文主要針對MapReduce機制中存在的不合理資源調(diào)度問題進行了歸總，并提出相應的改進思想。主要研究內(nèi)容如下：(1)在MapReduce原始的同構(gòu)環(huán)境資源調(diào)度方式基礎(chǔ)上，提出了動態(tài)資源比例分配算法(DPRS)，動態(tài)監(jiān)控節(jié)點的負載情況，合理分配任務相應的資源，改進了原始機制處理異構(gòu)環(huán)境下的Reduce任務調(diào)度不均衡的問題。(

6、2)為了讓輸入數(shù)據(jù)盡可能本地化執(zhí)行，采用了局部能力優(yōu)化分配模型(LCPO)，省去了原始備份冗余所帶來的開銷，減少了網(wǎng)絡傳輸流量，提高了Map任務的執(zhí)行效率。(3)為了提高異構(gòu)環(huán)境中Reduce落后節(jié)點的備份執(zhí)行效率，并解決原始機制中的落后節(jié)點誤判的問題，提出了快速長任務備份算法(FLTB)。(4)對于輸入文件分割的數(shù)據(jù)塊分布到各個Map任務中產(chǎn)生的不均衡問題，本文用預處理方式來實現(xiàn)啟發(fā)式的數(shù)據(jù)分割，一定程度上改善了原有數(shù)據(jù)在異構(gòu)環(huán)境下的任務分配不均衡問題。關(guān)鍵詞：MapReduce；動態(tài)資源比例分配；局部能力優(yōu)化分配；快速長任務備份；啟發(fā)式數(shù)據(jù)分割◆．??；^‘¨◆聱

7、英文摘要ABSTRACTAsallemergingcloudcomputingmodel，MapReducehasbeenwidelyusedinthelarge-scaleintensivedataapplications，suchaswebcrawling，scientificcomputinganddatamining，etc．MapReducelibraryprovidesdesigners研tllatransparenthardwaredevelopmentenvironment，makingiteasytostoreanduse，andsimplif