資源描述：
《畢業(yè)設(shè)計（論文）-基于彈性云計算的開源海量數(shù)據(jù)處理平臺》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。
1、西安郵電大學畢業(yè)設(shè)計（論文）題目：基于彈性云計算的開源海量數(shù)據(jù)處理平臺院（系）：計算機學院專業(yè)：軟件工程班級：軟件0901學生姓名：導師姓名：職稱：教授起止時間：2012年9月17日至2013年5月31日畢業(yè)設(shè)計（論文）誠信聲明書本人聲明：本人所提交的畢業(yè)論文《基于彈性云計算的開源海量數(shù)據(jù)處理平臺》是本人在指導教師指導下獨立研究、寫作的成果，論文中所引用他人的文獻、數(shù)據(jù)、圖件、資料均已明確標注；對本文的研究做出重要貢獻的個人和集體，均已在文中以明確方式注明并表示感謝。本人完全清楚本聲明的法律后果，申請學位論文和資料若有不實之處，本人愿
2、承擔相應的法律責任。論文作者簽名：時間：年月日指導教師簽名：時間：年月日西安郵電大學畢業(yè)設(shè)計(論文)任務書學生姓名王哲指導教師李曉戈職稱教授院(系)計算機學院專業(yè)軟件工程題目基于彈性云計算的開源海量數(shù)據(jù)處理平臺任務與要求1.分析研究亞馬遜彈性MapReduce平臺構(gòu)架。2.運用云計算開源技術(shù)框架，搭建動態(tài)虛擬的云計算環(huán)境。3.運用hadoop開源技術(shù)；安裝制作hadoop虛擬服務器模板。4.運用wordCount算法進行mapreduce海量文本數(shù)據(jù)測試。開始日期2012年9月17日完成日期2013年5月31日院（系）主任(簽字)20
3、12年9月20日西安郵電大學畢業(yè)設(shè)計(論文)工作計劃學生姓名___王哲___指導教師_李曉戈___職稱___教授院（系）____計算機學院_________專業(yè)____軟件工程題目基于云計算的開源海量數(shù)據(jù)處理平臺_______________________________________________________工作進程起止時間工作內(nèi)容2012.9.17——2012.11.1查閱資料文獻，完成開題報告2012.11.2——2012.12.1閱讀了解hadoop亞馬遜彈性MapReduce平臺架構(gòu)。2012.12.2——2013
4、.02.1搭建多節(jié)點的hadoop,并研究相關(guān)算法，實施方案2013.02.2——2013.03.1提交中期匯報表，編寫代碼2013.03.2——2013.04.1進行測試，分析結(jié)果2013.04.2——2013.05.31編寫論文，修改裝訂主要參考網(wǎng)站1，http://aws.amazon.com/elasticmapreduce/2，http：//www．Cloudera.com/products-services/enterprise/3http://support.citrix.com/servlet/lbservlet/do
5、wnload/18052-102-19049/installation.pdf4，HadoopClusterSetup主要儀器設(shè)備及材料服務器4臺，PC機論文(設(shè)計)過程中教師的指導安排每兩周學生提交進度報告，并開會討論。對計劃的說明西安郵電大學畢業(yè)設(shè)計(論文)開題報告計算機院（系）軟件工程專業(yè)09級01班課題名稱：基于彈性云計算的開源海量數(shù)據(jù)處理平臺學生姓名：王哲學號：04095004指導教師：李曉戈報告日期：2012年11月5日1．本課題所涉及的問題及應用現(xiàn)狀綜述當今時代，互聯(lián)網(wǎng)高速發(fā)展，上網(wǎng)人群急劇上升，必然會出現(xiàn)信息大爆炸。對
6、提供網(wǎng)絡服務的互聯(lián)網(wǎng)公司來說，這些海量信息的存儲，實時處理，數(shù)據(jù)檢索，數(shù)據(jù)挖掘與智能應用等信息處理能力將面臨新的挑戰(zhàn)。技術(shù)架構(gòu)也迫切需要以動態(tài)可伸展為特點的支持海量數(shù)據(jù)處理的新的存儲計算模式。這種存儲計算模式因為彈性可伸縮的特性，現(xiàn)在受到谷歌，亞馬遜、IBM等為代表的眾多高科技公司的重視，成為各公司應對海量數(shù)據(jù)處理的利器。比如說，應用在線服務托管領(lǐng)域的亞馬遜彈性云，Zoho在線辦公，著名的谷歌搜索等。本文的主要目的是構(gòu)建一個分布式海量數(shù)據(jù)處理系統(tǒng)來存儲和處理這些數(shù)據(jù)。2．本課題需要重點研究的關(guān)鍵問題、解決的思路及實現(xiàn)預期目標的可行性分
7、析搭建開源EMR系統(tǒng)。利用XenServer/XenCenter搭建開源EMR系統(tǒng)，在XenServer上安裝三臺虛擬機，一個充當NameNode,兩個充當DataNode。然后在該系統(tǒng)上運行wordcount作為測試。分析亞馬遜EMR架構(gòu)。在亞馬遜平臺上免費注冊一個賬號，然后先體驗下亞馬遜的EC2。然后分析和我所搭建的EMR系統(tǒng)做一些異同點的分析。分析EMR計算模式的優(yōu)勢，并用具體的實例數(shù)據(jù)證明EMR計算模式的優(yōu)勢。在單機上運行某個大數(shù)據(jù)應用。然后將相同的應用放在hadoop上運行，然后分析一些計算機的性能。3．完成本課題的工作方案
8、2012.9.17——2012.11.1查閱資料文獻，完成開題報告2012.11.2——2012.12.1閱讀了解hadoop亞馬遜彈性MapReduce平臺架構(gòu)。2012.12.2——2013.02.1搭建多節(jié)點的ha
