資源描述：
《基于MapReduce的多核并行數(shù)據(jù)處理框架研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、獨(dú)創(chuàng)性聲明本人聲明所呈交的論文是我個(gè)人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。除了文中特別加以標(biāo)注和致謝的地方外，論文中不包畬其他人或集體已經(jīng)發(fā)表或撰寫過的研究成果，對本文的研究做出貢獻(xiàn)的集體jf日個(gè)人均已在論文中作了明確的說明并表示了謝意．研究生簽名：嗽j5日期：論文使用和授權(quán)說明本人完全了解云南大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué)校有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交學(xué)位論文和論文電子版；允許論文被查閱或借閱；學(xué)?？梢怨颊撐牡娜炕虿糠謨?nèi)容，可以采用影印、縮印或其他復(fù)制手段保存論文．(保密的論文在解密后應(yīng)遵循此規(guī)定)研究
2、生簽名：堅(jiān)至多’一導(dǎo)師簽名：日期：蘭：!!：塾型本人及導(dǎo)師同意將學(xué)位論文提交至清華大學(xué)“中國學(xué)術(shù)期刊(光盤版)電子雜志社”進(jìn)行電子和網(wǎng)絡(luò)出版，并編入CNKI系列數(shù)據(jù)庫，傳播本學(xué)位論文的全部或部分內(nèi)容，同意按《中國優(yōu)秀博碩士學(xué)位論文全文數(shù)據(jù)庫出版章程》規(guī)定享受相關(guān)權(quán)益。研究生簽名：～——導(dǎo)師簽名：——日期：摘要隨著“大數(shù)據(jù)”時(shí)代的來臨，數(shù)據(jù)的重要性及其背后蘊(yùn)含的價(jià)值日益凸顯，如何更為方便而高效的對數(shù)據(jù)進(jìn)行處理成為亟待解決的問題。伴隨多核技術(shù)的發(fā)展與普及，多核處理器已經(jīng)被廣泛應(yīng)用于各種桌面終端和移動終端，多核平臺的出現(xiàn)為并行數(shù)據(jù)處理提供
3、了全新的思路和方法。本文通過對多核平臺特性以及分布式環(huán)境下MapRedce并行處理模型的深入研究，分析論證了MapReduce模型運(yùn)用于多核平臺的可行性及有效性，提出了一種基于MapReduce的多核并行數(shù)據(jù)處理框架：ParallelMRS。本文的主要工作是：1、提出了ParallelMRS多核并行處理框架。針對多核平臺共享內(nèi)存的特點(diǎn)，通過共享哈希表的方式重構(gòu)了MapReduce模型的shuffle處理過程，使其取得了更佳的時(shí)空效率。在此基礎(chǔ)上，基于優(yōu)化后的MapReduce模型提出ParallelMRS的設(shè)計(jì)方案，并給出其運(yùn)行模型
4、。2、研究了ParallelMRS的關(guān)鍵應(yīng)用接口及其實(shí)現(xiàn)方案?；谶M(jìn)程管道技術(shù)提出了Streaming應(yīng)用接口，使得ParallelMRS能夠無縫集成任意基于標(biāo)準(zhǔn)10的可執(zhí)行程序，有效地提升了ParallelMRS并行處理框架的適應(yīng)性和易用性。3、研究了ParaUelMRS的運(yùn)行時(shí)性能優(yōu)化。分析了ParallelMRS中動態(tài)和靜態(tài)兩種任務(wù)分配策略的優(yōu)缺點(diǎn)，明確了動態(tài)分配的選擇。根據(jù)Map和Reduce的運(yùn)行特點(diǎn)，分別提出了基于反饋?zhàn)赃m應(yīng)策略和任務(wù)竊取策略的兩種負(fù)載均衡算法，優(yōu)化了ParallelMRS的整體加速比。針對Paralle
5、lMRS中小塊內(nèi)存分配頻繁的問題，提出了一個(gè)適用于多線程環(huán)境的并行內(nèi)存分配器。最終實(shí)驗(yàn)結(jié)果表明，ParallelMRS能夠充分發(fā)揮多核平臺的計(jì)算性能，取得較好的加速比，是一種方便而高效的開發(fā)并行處理應(yīng)用的有效解決方案。關(guān)鍵詞：ParallelMRS·MapReduce：多核；并行處理；框架．竺竺!竺一●______。-_。__。_-______。_____。_-●__________-_______________I_____--________________-。。。。。。。。。。。。?！狝bstract
6、Bytheadventof”bigdata”era,thevalueofdataisbecomingmoreandmoreimportant．Howtoprocessdataconvenientlyandefficientlyismorecrucialandneedtobeconcerned．Bythedevelopmentofmulticoretechnology,multicoreCPUsarewidelyusedindesktopplatformsandmobiledevices．Themulticoreplatformspr
7、ovidenewmethodsandsolutionsforparalleldataprocessing．ThispaperanalyzesboththefeaturesofmulticoreplatformandMapReduceparallelmodel，discussthepossibilityandpracticabilityforcombiningthetwotechnologies．Then，proposesanovelMapReducebasedparalleldataprocessingframeworkonmult
8、icoreplatform，calledParallelMRS．Thispapermainlymakesfollowingworks：1．Proposingparalleldataprocessingframework：Paralle
