資源描述:
《基于Hadoop的異構(gòu)海洋數(shù)據(jù)處理模型研究.pdf》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。
1、●學(xué)校代碼:10264研究生學(xué)號(hào):M080501453上海海洋大學(xué)專業(yè)學(xué)位碩士論文題基于Hadoop的異構(gòu)海洋數(shù)據(jù)處理模型研究Heterogeneousmarinodata英文題目:processingmodeIstudybasedonHadoop專業(yè):計(jì)算機(jī)應(yīng)用技術(shù)研究領(lǐng)域:分布式計(jì)算,云計(jì)算姓名:侯澤東指導(dǎo)教師:黃冬梅教授二O一一年一月十四日◆●}III1IIIIII11111III、t1821878上海海洋大學(xué)學(xué)位論文原創(chuàng)性聲明本人鄭重聲明:我恪守學(xué)術(shù)道德,崇尚嚴(yán)謹(jǐn)學(xué)風(fēng)。所呈交的學(xué)位論文,
2、是本人在導(dǎo)師的指導(dǎo)下,獨(dú)立進(jìn)行研究工作所取得的成果。除文中已經(jīng)明確注明和引用的內(nèi)容外,本論文不包含任何其他個(gè)人或集體己經(jīng)發(fā)表或撰寫(xiě)過(guò)的作品及成果的內(nèi)容。論文為本人親自撰寫(xiě),我對(duì)所寫(xiě)的內(nèi)容負(fù)責(zé),并完全意識(shí)到本聲明的法律結(jié)果由本人承擔(dān)。學(xué)位論文作者簽名:日期:ZpJl年-f上海海洋大學(xué)學(xué)位論文版權(quán)使用授權(quán)書(shū)彳羞塢幺月一日t不保密醇..言凳篡黼日氣乏坪秀囂警j黔扔f●◆±漁漁洼太堂博/碩士學(xué)位論文答辯委員會(huì)成員名單姓名工作單位職稱備注吳耿鋒上海大學(xué)教授主席中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)錢(qián)平研究員委員信息研究所鄒國(guó)
3、良上海海洋大學(xué)教授委員于慶梅上海海洋大學(xué)副教授委員鄭永德上海海洋大學(xué)工程師秘書(shū)答辯地點(diǎn)信息學(xué)院205會(huì)議室答辯日期2011.1.14◆上海海洋大學(xué)碩士學(xué)位論文目錄摘要????????????????????????????????????..1Abstract.??????.???????.???????.??????.?????.??.III第一章引言???????????????????????..11.1研究背景及意義????????????????????l1.1.1研究背景??????
4、??????????????11.1.2研究意義????????????????????21.2研究?jī)?nèi)容與創(chuàng)新點(diǎn)???????????????????21.3論文總體框架?????????????????????3第二章Hadoop平臺(tái)研究????????????????????42.1Hadoop核心組件概要??????????????????42.1.1HadoopMapReduce??????????????????????42.1.2HadoopDFS??????????????????
5、???????.52.2Hadoop分布式文件系統(tǒng)(HDFS)??????????????52.2.1HDFS數(shù)據(jù)完整性?????????????????62.2.2持久化數(shù)據(jù)結(jié)構(gòu)?????????????????.72.2.3元數(shù)據(jù)備份??????????????????一102.2.4數(shù)據(jù)備份???????????????????一102.3MapReduce并行編程模型在Hadoop中的實(shí)現(xiàn)???????..1l2.3.1MapReduce數(shù)據(jù)流????????????????..112.
6、3.2運(yùn)行MapReduce作業(yè)??????????????..122.3.3作業(yè)的調(diào)度??????????????????..132.3.4MapReduce中的其他關(guān)鍵特性???????????142.3.5MapReduce執(zhí)行流程???????????????152.4HadoopMapReduce容錯(cuò)機(jī)制分析????????????.172.5本章小結(jié)??????????????????????.17第三章異構(gòu)海洋數(shù)據(jù)處理模型設(shè)計(jì)???????????????l83.1海洋數(shù)據(jù)的異構(gòu)性
7、??????????????????.183.2數(shù)據(jù)源分析?????????????????????.193.2.1環(huán)境監(jiān)測(cè)數(shù)據(jù)??????????????????19●3.43.5第四章4.14.1.2軟件環(huán)境???????????????????一294.113運(yùn)行實(shí)例配置??????????????????304.2實(shí)驗(yàn)以及結(jié)果分析??????????????????.324.3本章小結(jié)??????????????????????.34第五章結(jié)論與展望???????????????????
8、??一355.1工作總結(jié)??????????????????????.355.2展望????????????????????????35參考文獻(xiàn)??????????????????????????37致謝???????????????????????????40攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果???????一4l發(fā)表的學(xué)術(shù)論文?????????????????????4l發(fā)表的專利???????????????????????4l參加的科研項(xiàng)目???????????????????