資源描述：
《基于mapreduce的late調(diào)度器算法的改進(jìn)研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、代號10701學(xué)號1077490427分類號TP393.03密級公開UDC編號題（中、英文）目基于MapReduce的LATE調(diào)度器算法的改進(jìn)研究ResearchontheImprovementofLATESchedulingBasedonMapReduce作者姓名朱昌俊學(xué)校指導(dǎo)教師姓名職稱王凱東副教授工程領(lǐng)域計算機(jī)技術(shù)企業(yè)指導(dǎo)教師姓名職稱黨宏波高工論文類型工程設(shè)計提交論文日期2013年1月西安電子科技大學(xué)學(xué)位論文獨(dú)創(chuàng)性聲明秉承學(xué)校嚴(yán)謹(jǐn)?shù)膶W(xué)風(fēng)和優(yōu)良的科學(xué)道德，本人聲明所呈交的論文是我個人在導(dǎo)師指
2、導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝中所羅列的內(nèi)容以外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果；也不包含為獲得西安電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中做了明確的說明并表示了謝意。申請學(xué)位論文與資料若有不實之處，本人承擔(dān)一切法律責(zé)任。本人簽名：日期：西安電子科技大學(xué)關(guān)于論文使用授權(quán)的說明本人完全了解西安電子科技大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，即：研究生在校攻讀學(xué)位期間論文工作的知識產(chǎn)權(quán)
3、單位屬西安電子科技大學(xué)。學(xué)校有權(quán)保留送交論文的復(fù)印件，允許查閱和借閱論文；學(xué)?？梢怨颊撐牡娜炕虿糠謨?nèi)容，可以允許采用影印、縮印或其它復(fù)制手段保存論文。同時本人保證，畢業(yè)后結(jié)合學(xué)位論文研究課題再撰寫的文章一律署名單位為西安電子科技大學(xué)。（保密的論文在解密后遵守此規(guī)定）本學(xué)位論文屬于保密，在年解密后適用本授權(quán)書。本人簽名：導(dǎo)師簽名：日期：日期：摘要隨著信息時代的快速發(fā)展，數(shù)據(jù)具有了海量、異構(gòu)、多樣、動態(tài)變化等特性。人們迫切需要強(qiáng)有力的數(shù)據(jù)分析工具從繁雜的海量數(shù)據(jù)中找到有用知識，發(fā)現(xiàn)其中存在的關(guān)系
4、和規(guī)則，幫助人們進(jìn)行決策、研究、判定，從而帶來巨大的信息價值。Map-Reduce編程模型由Google提出，是當(dāng)前應(yīng)用較為廣泛的分布式計算框架。它將業(yè)務(wù)邏輯從復(fù)雜的底層實現(xiàn)細(xì)節(jié)中分離出來，該模型主要是面向海量數(shù)據(jù)的處理，與傳統(tǒng)的并行計算模型相比，它對任務(wù)調(diào)度、數(shù)據(jù)分塊、容錯性等問題進(jìn)行了封裝，極大地簡化了程序的設(shè)計。Map-ReduceJob的調(diào)度機(jī)制一直是學(xué)術(shù)研究的熱點，而LATE調(diào)度器算法從某種程度上解決了現(xiàn)有調(diào)度器的一些問題。本文在分析LATE調(diào)度算法的基礎(chǔ)上，結(jié)合工作集群的工作負(fù)載波動
5、性和工作數(shù)據(jù)局部性等特殊性，對LATE調(diào)度算法進(jìn)行了一些改進(jìn)。之后，對算法進(jìn)行了實驗及性能分析，驗證了算法在提高資源利用率，動態(tài)調(diào)整資源分配，提高了作業(yè)的效率有很大改進(jìn)。本課題考慮了節(jié)點性能波動和數(shù)據(jù)局部性，所設(shè)計的結(jié)點分配任務(wù)環(huán)節(jié)，假定了結(jié)點的性能在一定的時間內(nèi)具有一定的穩(wěn)定性；其對LATE調(diào)度算法做出的改進(jìn)解決了原有算法的不足，增加了Map-Reduce工作效率；其提出的LATE調(diào)度算法修正思路，得到的結(jié)果具有較好的邏輯性；其提出的具體實現(xiàn)方案，滿足了系統(tǒng)中的功能性和個性化需求；以此推薦技術(shù)
6、設(shè)計實現(xiàn)的Map-Reduce工作系統(tǒng)，提高了運(yùn)行效率；其可能產(chǎn)生的效益是增加Map-Reduce的工作效能，提高作業(yè)效率。關(guān)鍵詞：MapReduceLATE性能波動性數(shù)據(jù)局部性AbstractWiththerapiddevelopmentoftheinformationage,thedataismassive,heterogeneous,diverseanddynamicchange.Theurgentneedforpowerfuldataanalysistoolstofindusefulkn
7、owledgefromthecomplexmassdatafoundthattherelationsandruleswhichexisttohelppeoplemakedecisions,research,determination,andthusbringhugevalue.MapReduceprogrammingmodelproposedbyGoogle,isawidelydistributedcomputingframework.Thelogicofthiscomputingmodelis
8、separatedfromthecomplexitiesoftheunderlyingimplementationdetails.Themodelismainlyformassivedataprocessing.Comparedwiththetraditionalmodelofparallelcomputing,itstaskscheduling,datablock,faulttolerancepackagegreatlysimplifiesthedesignoftheprogram.Inthe
