基于彈性云計算的開源海量數(shù)據(jù)處理平臺 畢業(yè)論文

《基于彈性云計算的開源海量數(shù)據(jù)處理平臺 畢業(yè)論文》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在學術論文-天天文庫。

1、西安郵電大學畢業(yè)設計（論文）題目：基于彈性云計算的開源海量數(shù)據(jù)處理平臺院（系）：計算機學院專業(yè)：軟件工程班級：軟件0901學生姓名：導師姓名：職稱：教授起止時間：2012年9月17日至2013年5月31日畢業(yè)設計（論文）誠信聲明書本人聲明：本人所提交的畢業(yè)論文《基于彈性云計算的開源海量數(shù)據(jù)處理平臺》是本人在指導教師指導下獨立研究、寫作的成果，論文中所引用他人的文獻、數(shù)據(jù)、圖件、資料均已明確標注；對本文的研究做出重要貢獻的個人和集體，均已在文中以明確方式注明并表示感謝。本人完全清楚本聲明的法律后果，申請學位論文和資料若有不

2、實之處，本人愿承擔相應的法律責任。論文作者簽名：時間：年月日指導教師簽名：時間：年月日西安郵電大學畢業(yè)設計(論文)任務書學生姓名指導教師李曉戈職稱教授院(系)計算機學院專業(yè)軟件工程題目基于彈性云計算的開源海量數(shù)據(jù)處理平臺任務與要求1.分析研究亞馬遜彈性MapReduce平臺構架。2.運用云計算開源技術框架，搭建動態(tài)虛擬的云計算環(huán)境。3.運用hadoop開源技術；安裝制作hadoop虛擬服務器模板。4.運用wordCount算法進行mapreduce海量文本數(shù)據(jù)測試。開始日期2012年9月17日完成日期2013年5月31日

3、院（系）主任(簽字)2012年9月20日西安郵電大學畢業(yè)設計(論文)工作計劃學生姓名______指導教師_李曉戈___職稱___教授院（系）____計算機學院_________專業(yè)____軟件工程題目基于云計算的開源海量數(shù)據(jù)處理平臺_______________________________________________________工作進程起止時間工作內(nèi)容2012.9.17——2012.11.1查閱資料文獻，完成開題報告2012.11.2——2012.12.1閱讀了解hadoop亞馬遜彈性MapReduce平臺架

4、構。2012.12.2——2013.02.1搭建多節(jié)點的hadoop,并研究相關算法，實施方案2013.02.2——2013.03.1提交中期匯報表，編寫代碼2013.03.2——2013.04.1進行測試，分析結果2013.04.2——2013.05.31編寫論文，修改裝訂主要參考網(wǎng)站1，http://aws.amazon.com/elasticmapreduce/2，http：//www．Cloudera.com/products-services/enterprise/3http://support.citrix.

5、com/servlet/lbservlet/download/18052-102-19049/installation.pdf4，HadoopClusterSetup主要儀器設備及材料服務器4臺，PC機論文(設計)過程中教師的指導安排每兩周學生提交進度報告，并開會討論。對計劃的說明西安郵電大學畢業(yè)設計(論文)開題報告計算機院（系）軟件工程專業(yè)09級01班課題名稱：基于彈性云計算的開源海量數(shù)據(jù)處理平臺學生姓名：學號：04095004指導教師：李曉戈報告日期：2012年11月5日1．本課題所涉及的問題及應用現(xiàn)狀綜述當今時代，

6、互聯(lián)網(wǎng)高速發(fā)展，上網(wǎng)人群急劇上升，必然會出現(xiàn)信息大爆炸。對提供網(wǎng)絡服務的互聯(lián)網(wǎng)公司來說，這些海量信息的存儲，實時處理，數(shù)據(jù)檢索，數(shù)據(jù)挖掘與智能應用等信息處理能力將面臨新的挑戰(zhàn)。技術架構也迫切需要以動態(tài)可伸展為特點的支持海量數(shù)據(jù)處理的新的存儲計算模式。這種存儲計算模式因為彈性可伸縮的特性，現(xiàn)在受到谷歌，亞馬遜、IBM等為代表的眾多高科技公司的重視，成為各公司應對海量數(shù)據(jù)處理的利器。比如說，應用在線服務托管領域的亞馬遜彈性云，Zoho在線辦公，著名的谷歌搜索等。本文的主要目的是構建一個分布式海量數(shù)據(jù)處理系統(tǒng)來存儲和處理這些數(shù)

7、據(jù)。2．本課題需要重點研究的關鍵問題、解決的思路及實現(xiàn)預期目標的可行性分析搭建開源EMR系統(tǒng)。利用XenServer/XenCenter搭建開源EMR系統(tǒng)，在XenServer上安裝三臺虛擬機，一個充當NameNode,兩個充當DataNode。然后在該系統(tǒng)上運行wordcount作為測試。分析亞馬遜EMR架構。在亞馬遜平臺上免費注冊一個賬號，然后先體驗下亞馬遜的EC2。然后分析和我所搭建的EMR系統(tǒng)做一些異同點的分析。分析EMR計算模式的優(yōu)勢，并用具體的實例數(shù)據(jù)證明EMR計算模式的優(yōu)勢。在單機上運行某個大數(shù)據(jù)應用。然后

8、將相同的應用放在hadoop上運行，然后分析一些計算機的性能。3．完成本課題的工作方案2012.9.17——2012.11.1查閱資料文獻，完成開題報告2012.11.2——2012.12.1閱讀了解hadoop亞馬遜彈性MapReduce平臺架構。2012.12.2——2013.02.1搭建多節(jié)點的hadoop,并