基于彈性云計(jì)算的開源海量數(shù)據(jù)處理平臺(tái) 畢業(yè)論文

《基于彈性云計(jì)算的開源海量數(shù)據(jù)處理平臺(tái) 畢業(yè)論文》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、西安郵電大學(xué)畢業(yè)設(shè)計(jì)（論文）題目：基于彈性云計(jì)算的開源海量數(shù)據(jù)處理平臺(tái)院（系）：計(jì)算機(jī)學(xué)院專業(yè)：軟件工程班級(jí)：軟件0901學(xué)生姓名：導(dǎo)師姓名：職稱：教授起止時(shí)間：2012年9月17日至2013年5月31日畢業(yè)設(shè)計(jì)（論文）誠信聲明書本人聲明：本人所提交的畢業(yè)論文《基于彈性云計(jì)算的開源海量數(shù)據(jù)處理平臺(tái)》是本人在指導(dǎo)教師指導(dǎo)下獨(dú)立研究、寫作的成果，論文中所引用他人的文獻(xiàn)、數(shù)據(jù)、圖件、資料均已明確標(biāo)注；對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式注明并表示感謝。本人完全清楚本聲明的法律后果，申請(qǐng)學(xué)位論文和資料若有不

2、實(shí)之處，本人愿承擔(dān)相應(yīng)的法律責(zé)任。論文作者簽名：時(shí)間：年月日指導(dǎo)教師簽名：時(shí)間：年月日西安郵電大學(xué)畢業(yè)設(shè)計(jì)(論文)任務(wù)書學(xué)生姓名指導(dǎo)教師李曉戈職稱教授院(系)計(jì)算機(jī)學(xué)院專業(yè)軟件工程題目基于彈性云計(jì)算的開源海量數(shù)據(jù)處理平臺(tái)任務(wù)與要求1.分析研究亞馬遜彈性MapReduce平臺(tái)構(gòu)架。2.運(yùn)用云計(jì)算開源技術(shù)框架，搭建動(dòng)態(tài)虛擬的云計(jì)算環(huán)境。3.運(yùn)用hadoop開源技術(shù)；安裝制作hadoop虛擬服務(wù)器模板。4.運(yùn)用wordCount算法進(jìn)行mapreduce海量文本數(shù)據(jù)測(cè)試。開始日期2012年9月17日完成日期2013年5月31日

3、院（系）主任(簽字)2012年9月20日西安郵電大學(xué)畢業(yè)設(shè)計(jì)(論文)工作計(jì)劃學(xué)生姓名______指導(dǎo)教師_李曉戈___職稱___教授院（系）____計(jì)算機(jī)學(xué)院_________專業(yè)____軟件工程題目基于云計(jì)算的開源海量數(shù)據(jù)處理平臺(tái)_______________________________________________________工作進(jìn)程起止時(shí)間工作內(nèi)容2012.9.17——2012.11.1查閱資料文獻(xiàn)，完成開題報(bào)告2012.11.2——2012.12.1閱讀了解hadoop亞馬遜彈性MapReduce平臺(tái)架

4、構(gòu)。2012.12.2——2013.02.1搭建多節(jié)點(diǎn)的hadoop,并研究相關(guān)算法，實(shí)施方案2013.02.2——2013.03.1提交中期匯報(bào)表，編寫代碼2013.03.2——2013.04.1進(jìn)行測(cè)試，分析結(jié)果2013.04.2——2013.05.31編寫論文，修改裝訂主要參考網(wǎng)站1，http://aws.amazon.com/elasticmapreduce/2，http：//www．Cloudera.com/products-services/enterprise/3http://support.citrix.

5、com/servlet/lbservlet/download/18052-102-19049/installation.pdf4，HadoopClusterSetup主要儀器設(shè)備及材料服務(wù)器4臺(tái)，PC機(jī)論文(設(shè)計(jì))過程中教師的指導(dǎo)安排每兩周學(xué)生提交進(jìn)度報(bào)告，并開會(huì)討論。對(duì)計(jì)劃的說明西安郵電大學(xué)畢業(yè)設(shè)計(jì)(論文)開題報(bào)告計(jì)算機(jī)院（系）軟件工程專業(yè)09級(jí)01班課題名稱：基于彈性云計(jì)算的開源海量數(shù)據(jù)處理平臺(tái)學(xué)生姓名：學(xué)號(hào)：04095004指導(dǎo)教師：李曉戈報(bào)告日期：2012年11月5日1．本課題所涉及的問題及應(yīng)用現(xiàn)狀綜述當(dāng)今時(shí)代，

6、互聯(lián)網(wǎng)高速發(fā)展，上網(wǎng)人群急劇上升，必然會(huì)出現(xiàn)信息大爆炸。對(duì)提供網(wǎng)絡(luò)服務(wù)的互聯(lián)網(wǎng)公司來說，這些海量信息的存儲(chǔ)，實(shí)時(shí)處理，數(shù)據(jù)檢索，數(shù)據(jù)挖掘與智能應(yīng)用等信息處理能力將面臨新的挑戰(zhàn)。技術(shù)架構(gòu)也迫切需要以動(dòng)態(tài)可伸展為特點(diǎn)的支持海量數(shù)據(jù)處理的新的存儲(chǔ)計(jì)算模式。這種存儲(chǔ)計(jì)算模式因?yàn)閺椥钥缮炜s的特性，現(xiàn)在受到谷歌，亞馬遜、IBM等為代表的眾多高科技公司的重視，成為各公司應(yīng)對(duì)海量數(shù)據(jù)處理的利器。比如說，應(yīng)用在線服務(wù)托管領(lǐng)域的亞馬遜彈性云，Zoho在線辦公，著名的谷歌搜索等。本文的主要目的是構(gòu)建一個(gè)分布式海量數(shù)據(jù)處理系統(tǒng)來存儲(chǔ)和處理這些數(shù)

7、據(jù)。2．本課題需要重點(diǎn)研究的關(guān)鍵問題、解決的思路及實(shí)現(xiàn)預(yù)期目標(biāo)的可行性分析搭建開源EMR系統(tǒng)。利用XenServer/XenCenter搭建開源EMR系統(tǒng)，在XenServer上安裝三臺(tái)虛擬機(jī)，一個(gè)充當(dāng)NameNode,兩個(gè)充當(dāng)DataNode。然后在該系統(tǒng)上運(yùn)行wordcount作為測(cè)試。分析亞馬遜EMR架構(gòu)。在亞馬遜平臺(tái)上免費(fèi)注冊(cè)一個(gè)賬號(hào)，然后先體驗(yàn)下亞馬遜的EC2。然后分析和我所搭建的EMR系統(tǒng)做一些異同點(diǎn)的分析。分析EMR計(jì)算模式的優(yōu)勢(shì)，并用具體的實(shí)例數(shù)據(jù)證明EMR計(jì)算模式的優(yōu)勢(shì)。在單機(jī)上運(yùn)行某個(gè)大數(shù)據(jù)應(yīng)用。然后

8、將相同的應(yīng)用放在hadoop上運(yùn)行，然后分析一些計(jì)算機(jī)的性能。3．完成本課題的工作方案2012.9.17——2012.11.1查閱資料文獻(xiàn)，完成開題報(bào)告2012.11.2——2012.12.1閱讀了解hadoop亞馬遜彈性MapReduce平臺(tái)架構(gòu)。2012.12.2——2013.02.1搭建多節(jié)點(diǎn)的hadoop,并