資源描述：
《基于hadoop和hbase的nutch分布式海量數(shù)據(jù)存儲模型的研究8》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、基于Hadoop和Hbase的Nutch分布式海量數(shù)據(jù)存儲模型的研究施磊磊，施化吉(江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院，江蘇鎮(zhèn)江212013)摘要：針對Nutch分布式海量數(shù)據(jù)進(jìn)行存儲的效率問題，現(xiàn)行的存儲方案已經(jīng)很難提供高效、可靠的服務(wù)，本文設(shè)計(jì)并實(shí)現(xiàn)了一種管理和存儲海量數(shù)據(jù)的平臺模型。該模型利用Solr分布式索引器、Hadoop分布式集群，以HDFS分布式文件系統(tǒng)、MapReduce并行計(jì)算模型以及Hbase分布式數(shù)據(jù)庫技術(shù)作為處理和存儲海量數(shù)據(jù)的方法，實(shí)驗(yàn)證明該模型可以很好地克服現(xiàn)行的存儲方式存在的不足，解決了海量數(shù)據(jù)在存儲當(dāng)中存在的問題，同時(shí)具有良好的擴(kuò)展性和可靠性
2、，能大大提高存儲的效率。關(guān)鍵詞：Hadoop集群;Nutch;Hbase;MapReduceResearchonNutchdistributedmassdatastoragemodelbasedonHadoopandHbaseSHILei-lei，SHIHua-ji(SchoolofComputerScienceandTelecommunicationEngineering，JiangsuUniversity，Zhenjiang212013，China)Abstract:Nutchdistributedformassdatastorageefficiency,theexi
3、stingstoragesolutionhasbeendifficulttoprovideefficientandreliableservice,wedesignedandimplementedamassivedatamanagementandstorageplatformmodel。ThemodelusesadistributedSolrindexer,Memcacheddistributedcachingsystem,HadoopdistributedclustertoHDFSdistributedfilesystem,MapReduceparallelcomputi
4、ngmodelsandHbasedistributeddatabasetechnologyasmassivedataprocessingmethodstoachieveefficientstorage,experimentalprovethatthemodelcanwellovercometheexistingstoragedeficiencies,massivedatatosolveproblemsinthestorageofwhich,alsohasgoodscalabilityandreliability,cangreatlyimprovestorageeffici
5、ency。Keywords:Hadoopcluster;Nutch;Hbase;MapReduce1引言Nutch是一個開源的搜索引擎，它使用Java語言開發(fā)，具有跨平臺應(yīng)用的優(yōu)點(diǎn)，Nutch作為網(wǎng)絡(luò)爬蟲和lucene的結(jié)合，功能上極其強(qiáng)悍，每個月數(shù)以億計(jì)的網(wǎng)頁爬取量，網(wǎng)頁搜索的高速，開源的功能剖析都是我們選擇它的關(guān)鍵因素。此外基于Hadoop的MapReduce編程模型和分布式文件系統(tǒng)HDFS，都可以讓我們用戶可以快速高效地實(shí)現(xiàn)運(yùn)行在數(shù)百臺乃至數(shù)千數(shù)萬臺計(jì)算機(jī)上，能夠在短時(shí)間內(nèi)完成海量數(shù)據(jù)的計(jì)算與分析[1]。但是，隨著科學(xué)技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)上信息的規(guī)模正在以指數(shù)趨勢上
6、升。整個互聯(lián)網(wǎng)每天都會產(chǎn)生海量的數(shù)據(jù)，所以Nutch分布式網(wǎng)絡(luò)爬蟲每天爬取到的數(shù)據(jù)量日益劇增，怎樣高效地對爬取到的海量數(shù)據(jù)進(jìn)行存儲已經(jīng)成為人們越來越關(guān)注的問題。傳統(tǒng)的基于單機(jī)或者集中式的數(shù)據(jù)管理模式已經(jīng)不適合海量數(shù)據(jù)的存儲。本文設(shè)計(jì)并實(shí)現(xiàn)了一種管理和存儲海量數(shù)據(jù)的平臺模型，該模型利用Hadoop分布式集群，以HDFS分布式文件系統(tǒng)、MapReduce并行計(jì)算模型以及Hbase分布式數(shù)據(jù)庫技術(shù)作為處理海量數(shù)據(jù)的方法，是一種分布式處理并存儲海量數(shù)據(jù)的計(jì)算模型。它主要通過網(wǎng)絡(luò)將龐大的計(jì)算機(jī)處理程序和相關(guān)的數(shù)據(jù)資源自動拆分成無數(shù)個子程序和塊，再交給多臺計(jì)算機(jī)組成的龐大集群服務(wù)系統(tǒng)
7、進(jìn)行分析處理，最后將處理結(jié)果再存儲在本地集群的硬件設(shè)備中。這種模型利用大量廉價(jià)的硬件設(shè)備組成的集群來構(gòu)建一個高可靠性和良好擴(kuò)展性的并行分布式系統(tǒng)處理并存儲海量數(shù)據(jù)。2Nutch海量數(shù)據(jù)存儲平臺模型2.1Nutch介紹Nutch致力于讓每個人能很容易,同時(shí)花費(fèi)很少就可以配置世界一流的Web搜索引擎。Nutch能夠做到:*每個月取幾十億網(wǎng)頁*為這些網(wǎng)頁維護(hù)一個索引*對索引文件進(jìn)行每秒上千次的搜索*提供高質(zhì)量的搜索結(jié)果Nutch由爬蟲crawler和查詢searcher組成。Crawler主要用于從網(wǎng)絡(luò)上抓取網(wǎng)頁并為這些網(wǎng)頁建立索引
