資源描述：
《搭建基于云計(jì)算的海量數(shù)據(jù)挖掘平臺(tái) 研究實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、搭建基于云計(jì)算的開源海量數(shù)據(jù)挖掘平臺(tái)趙華茗（中國(guó)科學(xué)院國(guó)家科學(xué)圖書館北京100190）【摘要】本文通過(guò)分析亞馬遜彈性MapReduce(EMR)平臺(tái)構(gòu)架，針對(duì)信息情報(bào)機(jī)構(gòu)內(nèi)部數(shù)據(jù)處理的迫切需求，提出通過(guò)開源技術(shù)XEN和Hadoop平臺(tái)構(gòu)建基于云計(jì)算的動(dòng)態(tài)可伸縮的海量數(shù)據(jù)處理平臺(tái)并給出了實(shí)施方案、海量文本數(shù)據(jù)處理案例和開源EMR平臺(tái)的優(yōu)勢(shì)分析。實(shí)施方案主要分為三部分:一、搭建動(dòng)態(tài)虛擬的云計(jì)算環(huán)境，二、安裝制作HADOOP虛擬服務(wù)器模板，三、配置運(yùn)行Cloudera和ClouderaDesktop。通過(guò)開源EMR架構(gòu)的應(yīng)用，可以效解決服務(wù)器蔓延問(wèn)題，提高網(wǎng)絡(luò)計(jì)算資源的利用效率
2、和分布式數(shù)據(jù)挖掘服務(wù)的快速布署能力及靈活性?！娟P(guān)鍵詞】云計(jì)算;海量數(shù)據(jù)挖掘;虛擬技術(shù);分布式計(jì)算;xen;Cloudera;Hadoop;【分類號(hào)】TP393BuildingtheOpenSourceMassDataMiningPlatformBasedonCloudComputingZhaoHuaming（NationalScienceLibrary，ChineseAcademyofSciences，Beijing100190，China）【Abstract】Aimstomeettheinternaldataprocessingneedsofinformationorg
3、anizations,thispaper,byanalyzingtheframeworksofAmazonelasticmap/reduce(EMR)platform,putsforwardtobuildthedynamicandelasticopensourcemassdataminingplatformbasedonCloudComputing,andprovidesaroadmapofsuccessfulimplementation,anexampleofmassivetextdataprocessingandtheanalysisofadvantageofopen
4、sourceEMRplatform.Thisimplementationplanincludesthreeparts:1.buildingdynamicvirtualenvironmentofcloudcomputing;2.creatingthevirtualservertemplateofHADOOP;3.deployingandrunningClouderaandClouderaDesktop.ThroughtheapplicationoftheopensourceEMRplatform,wecansolvetheproblemofserversprawleffec
5、tivelytoimproveutilizationratioofnetworkcomputingresourceandtoenhancetherapiddeploymentcapabilityandagilityofdistributeddataprocessingservices.【Keywords】cloudcomputing;massdatamining;virtualization;distributedcomputing;xen;Cloudera;Hadoop1引言互聯(lián)網(wǎng)促進(jìn)了信息流通，也帶來(lái)了信息的爆炸式增長(zhǎng)，最新的IDC的研究報(bào)告指出2010年全球信息量將
6、進(jìn)入ZB時(shí)代，并且每年以60%的速度在上升，這意味著每18個(gè)月全球信息數(shù)據(jù)量將被翻倍[1]。面對(duì)不斷拓展的驚人的數(shù)據(jù)規(guī)模，海量信息的存儲(chǔ)與管理、實(shí)時(shí)處理、數(shù)據(jù)搜索、數(shù)據(jù)挖掘與智能應(yīng)用等等信息處理能力面臨新的挑戰(zhàn)，信息技術(shù)架構(gòu)迫切需要以動(dòng)態(tài)可伸縮為特點(diǎn)的支持海量數(shù)據(jù)處理的新的存儲(chǔ)計(jì)算模式的支持。云計(jì)算因?yàn)槠鋸椥钥缮炜s的計(jì)算模式，受到以IBM、亞馬遜、谷歌等為代表的眾多高科技公司的重視，成為各公司應(yīng)對(duì)海量信息處理的利器。近年來(lái)，出現(xiàn)了眾多各具特色的云計(jì)算應(yīng)用產(chǎn)品，包括應(yīng)用在服務(wù)托管領(lǐng)域的亞馬遜彈性云，著名的谷歌搜索，ZOHO在線辦公應(yīng)用等等。而應(yīng)用在海量數(shù)據(jù)存儲(chǔ)挖掘領(lǐng)域的典型
7、云計(jì)算應(yīng)用也出自于亞馬遜公司，即亞馬遜的HADOOP架構(gòu)服務(wù)，亞馬遜稱其為彈性MR（ElasticMapReduce，EMR）[2,3]，整體架構(gòu)圖如圖1所示。EMR框架分為三部分，控制接口（AWSConsole）、存儲(chǔ)服務(wù)（AmazonSimpleStorageService，S3）和彈性計(jì)算（AmazonElasticComputeCloud，EC2）。通過(guò)EMR平臺(tái)，企業(yè)、研究人員、數(shù)據(jù)分析師可以花費(fèi)較少的費(fèi)用輕松處理大數(shù)據(jù)集而不用擔(dān)心計(jì)算設(shè)備問(wèn)題。顯而易見，隨著數(shù)據(jù)宇宙時(shí)代的到來(lái)，這種新的動(dòng)態(tài)可伸縮的數(shù)據(jù)處理模式必將在
