基于hadoop的日志統(tǒng)計分析系統(tǒng)的設(shè)計與實現(xiàn)

《基于hadoop的日志統(tǒng)計分析系統(tǒng)的設(shè)計與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、碩士學(xué)位論文（工程碩士）基于Hadoop的日志統(tǒng)計分析系統(tǒng)的設(shè)計與實現(xiàn)THEDESIGNANDIMPLEMENTATIONOFLOGSTATISTICSANALYSISSYSTEMBASEDONHADOOP朱斌哈爾濱工業(yè)大學(xué)2013年9月國內(nèi)圖書分類號：TP311學(xué)校代碼：10213國際圖書分類號：621.3密級：公開工程碩士學(xué)位論文基于Hadoop的日志統(tǒng)計分析系統(tǒng)的設(shè)計與實現(xiàn)碩士研究生：朱斌導(dǎo)師：王宇穎教授副導(dǎo)師：劉曉飛技術(shù)總監(jiān)申請學(xué)位：工程碩士學(xué)科：軟件工程所在單位：軟件學(xué)院答辯日期：2013年9月授予學(xué)位單位：哈爾

2、濱工業(yè)大學(xué)ClassifiedIndex:TP311U.D.C.:621.3DissertationfortheMaster’sDegreeinEngineeringTHEDESIGNANDIMPLEMENTATIONOFLOGSTATISTICSANALYSISSYSTEMBASEDONHADOOPCandidate:ZhuBinSupervisor:ProfessorWangYuyingAssociateSupervisor:LiuXiaofeiTechnicalDirectorAcademicDegreeApplie

3、dfor:MasterofEngineeringSpeciality:SoftwareEngineeringAffiliation:SchoolofSoftwareDateofDefence:September,2013Degree-Conferring-Institution:HarbinInstituteofTechnology哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文摘要隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)指數(shù)級的增長，IDC數(shù)據(jù)表明，全球企業(yè)數(shù)據(jù)正以55%的速度逐年增長，大數(shù)據(jù)中蘊(yùn)含著巨大的商業(yè)價值，引起了企業(yè)的廣泛關(guān)注，然而，大數(shù)

4、據(jù)給數(shù)據(jù)的同步、存儲、和數(shù)據(jù)統(tǒng)計分析帶來了一定的問題和困難，現(xiàn)有的工具逐漸無法有效的處理這些問題。Google首先推出了MapReduce用來應(yīng)對其對大數(shù)據(jù)處理的需求。Hadoop是開源版本的MapReduce，并逐漸成為許多互聯(lián)網(wǎng)公司基礎(chǔ)計算平臺的一個核心部分。本文旨在實現(xiàn)基于Hadoop的日志統(tǒng)計分析系統(tǒng)。本文在對此系統(tǒng)進(jìn)行需求分析的基礎(chǔ)上，設(shè)計了以Hadoop、HBase集群為基礎(chǔ)，數(shù)據(jù)源層、存儲層、計算層相互融合的體系結(jié)構(gòu)，設(shè)計并實現(xiàn)了日志同步、統(tǒng)計分析作業(yè)定制、任務(wù)調(diào)度、數(shù)據(jù)查詢四大功能。日志同步提供數(shù)據(jù)從不同數(shù)

5、據(jù)源到Hadoop集群的數(shù)據(jù)收集、聚合和移動，以便數(shù)據(jù)的分布式存儲；統(tǒng)計分析作業(yè)的定制支持MapReduce、Streaming、Hive三種不同類型的作業(yè)，滿足對統(tǒng)計分析多樣性的需求；任務(wù)調(diào)度對所有用戶提交的作業(yè)進(jìn)行統(tǒng)一管理和調(diào)度。數(shù)據(jù)查詢對存儲在集群中的數(shù)據(jù)提供多種查詢方式。本文綜合使用了Hadoop生態(tài)圈的各種開源技術(shù)，包括FlumeNG、Sqoop、HDFS、MapReduce、Hive、HBase，從日志數(shù)據(jù)的收集同步，到日志的存儲和計算分析，到最終分析結(jié)果的查詢，涵蓋了使用Hadoop進(jìn)行日志統(tǒng)計分析的典型流程

6、和技術(shù)。本文使用開發(fā)語言Java和shell，開發(fā)工具為EclipseIDE，VIM，Hadoopeclipse-plugin。在多臺CentOS機(jī)器之上搭建Hadoop集群，進(jìn)行分布式存儲和計算。用戶通過統(tǒng)計分析系統(tǒng)進(jìn)行日志同步、統(tǒng)計分析任務(wù)提交和調(diào)度、結(jié)果查詢等操作。關(guān)鍵詞：大數(shù)據(jù)；Hadoop；MapReduce；日志統(tǒng)計分析-I-哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文AbstractWiththedevelopmentofInternet，thenetworkdataisgrowingexponentially.IDCda

7、tashowsthattheglobalenterprisedatahasbeenincreasingatarateof55%.Thebigdatacontainsenormouscommercialvalues,causingwidespreadconcernintheenterprises.However,bigdataalsobringssomeproblemsanddifficultiestothedatasynchronization,storage,andstatisticalanalysisofdata,th

8、eexistingtoolscan'teffectivelydealwiththeseissues.GooglewasthefirsttopublicizeMapReduce-asystemtheyhadusedtoscaletheirdataprocessingneeds.Hadoopisanopen