基于彈性云計算的開源海量數(shù)據(jù)處理平臺 畢業(yè)論文

《基于彈性云計算的開源海量數(shù)據(jù)處理平臺 畢業(yè)論文》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、西安郵電大學(xué)畢業(yè)設(shè)計（論文）題目：基于彈性云計算的開源海量數(shù)據(jù)處理平臺院（系）：計算機學(xué)院專業(yè)：軟件工程班級：軟件0901學(xué)生姓名：導(dǎo)師姓名：職稱：教授起止時間：2012年9月17日至2013年5月31日畢業(yè)設(shè)計（論文）誠信聲明書本人聲明：本人所提交的畢業(yè)論文《基于彈性云計算的開源海量數(shù)據(jù)處理平臺》是本人在指導(dǎo)教師指導(dǎo)下獨立研究、寫作的成果，論文中所引用他人的文獻、數(shù)據(jù)、圖件、資料均已明確標注；對本文的研究做出重要貢獻的個人和集體，均已在文中以明確方式注明并表示感謝。本人完全清楚本聲明的法律后果，申請學(xué)位論文和資料若有不實之處，本人愿承擔(dān)相應(yīng)的法律責(zé)任。論文作者簽名：

2、時間：年月日指導(dǎo)教師簽名：時間：年月日西安郵電大學(xué)畢業(yè)設(shè)計(論文)任務(wù)書學(xué)生姓名指導(dǎo)教師李曉戈職稱教授院(系)計算機學(xué)院專業(yè)軟件工程題目基于彈性云計算的開源海量數(shù)據(jù)處理平臺任務(wù)與要求1.分析研究亞馬遜彈性MapReduce平臺構(gòu)架。2.運用云計算開源技術(shù)框架，搭建動態(tài)虛擬的云計算環(huán)境。3.運用hadoop開源技術(shù)；安裝制作hadoop虛擬服務(wù)器模板。4.運用wordCount算法進行mapreduce海量文本數(shù)據(jù)測試。開始日期2012年9月17日完成日期2013年5月31日院（系）主任(簽字)2012年9月20日西安郵電大學(xué)畢業(yè)設(shè)計(論文)工作計劃學(xué)生姓名______

3、指導(dǎo)教師_李曉戈___職稱___教授院（系）____計算機學(xué)院_________專業(yè)____軟件工程題目基于云計算的開源海量數(shù)據(jù)處理平臺_______________________________________________________工作進程起止時間工作內(nèi)容2012.9.17——2012.11.1查閱資料文獻，完成開題報告2012.11.2——2012.12.1閱讀了解hadoop亞馬遜彈性MapReduce平臺架構(gòu)。2012.12.2——2013.02.1搭建多節(jié)點的hadoop,并研究相關(guān)算法，實施方案2013.02.2——2013.03.1提交中期匯

4、報表，編寫代碼2013.03.2——2013.04.1進行測試，分析結(jié)果2013.04.2——2013.05.31編寫論文，修改裝訂主要參考網(wǎng)站1，http://aws.amazon.com/elasticmapreduce/2，http：//www．Cloudera.com/products-services/enterprise/3http://support.citrix.com/servlet/lbservlet/download/18052-102-19049/installation.pdf4，HadoopClusterSetup主要儀器設(shè)備及材料服務(wù)器4

5、臺，PC機論文(設(shè)計)過程中教師的指導(dǎo)安排每兩周學(xué)生提交進度報告，并開會討論。對計劃的說明西安郵電大學(xué)畢業(yè)設(shè)計(論文)開題報告計算機院（系）軟件工程專業(yè)09級01班課題名稱：基于彈性云計算的開源海量數(shù)據(jù)處理平臺學(xué)生姓名：學(xué)號：04095004指導(dǎo)教師：李曉戈報告日期：2012年11月5日1．本課題所涉及的問題及應(yīng)用現(xiàn)狀綜述當(dāng)今時代，互聯(lián)網(wǎng)高速發(fā)展，上網(wǎng)人群急劇上升，必然會出現(xiàn)信息大爆炸。對提供網(wǎng)絡(luò)服務(wù)的互聯(lián)網(wǎng)公司來說，這些海量信息的存儲，實時處理，數(shù)據(jù)檢索，數(shù)據(jù)挖掘與智能應(yīng)用等信息處理能力將面臨新的挑戰(zhàn)。技術(shù)架構(gòu)也迫切需要以動態(tài)可伸展為特點的支持海量數(shù)據(jù)處理的新的存儲

6、計算模式。這種存儲計算模式因為彈性可伸縮的特性，現(xiàn)在受到谷歌，亞馬遜、IBM等為代表的眾多高科技公司的重視，成為各公司應(yīng)對海量數(shù)據(jù)處理的利器。比如說，應(yīng)用在線服務(wù)托管領(lǐng)域的亞馬遜彈性云，Zoho在線辦公，著名的谷歌搜索等。本文的主要目的是構(gòu)建一個分布式海量數(shù)據(jù)處理系統(tǒng)來存儲和處理這些數(shù)據(jù)。2．本課題需要重點研究的關(guān)鍵問題、解決的思路及實現(xiàn)預(yù)期目標的可行性分析搭建開源EMR系統(tǒng)。利用XenServer/XenCenter搭建開源EMR系統(tǒng)，在XenServer上安裝三臺虛擬機，一個充當(dāng)NameNode,兩個充當(dāng)DataNode。然后在該系統(tǒng)上運行wordcount作為測

7、試。分析亞馬遜EMR架構(gòu)。在亞馬遜平臺上免費注冊一個賬號，然后先體驗下亞馬遜的EC2。然后分析和我所搭建的EMR系統(tǒng)做一些異同點的分析。分析EMR計算模式的優(yōu)勢，并用具體的實例數(shù)據(jù)證明EMR計算模式的優(yōu)勢。在單機上運行某個大數(shù)據(jù)應(yīng)用。然后將相同的應(yīng)用放在hadoop上運行，然后分析一些計算機的性能。3．完成本課題的工作方案2012.9.17——2012.11.1查閱資料文獻，完成開題報告2012.11.2——2012.12.1閱讀了解hadoop亞馬遜彈性MapReduce平臺架構(gòu)。2012.12.2——2013.02.1搭建多節(jié)點的hadoop,并