資源描述：
《基于hadoop平臺的云計算構(gòu)建與日志分析》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、國內(nèi)圖書分類號：TP399工學(xué)碩士學(xué)位論文基于Hadoop平臺的云計算構(gòu)建與日志分析碩士研究生：導(dǎo)師：申請學(xué)位級別：學(xué)科、專業(yè)：所在單位：答辯日期：授予學(xué)位單位：王宏宇孫博文工學(xué)碩士計算機應(yīng)用技術(shù)計算機科學(xué)與技術(shù)學(xué)院2012年3月哈爾濱理工大學(xué)ClassifiedIndex：TP399DissertationfortheMasterDegreeinEngineeringTheCloudComputingBasedonHadoopCandidate：Supervisor：PlatformandLogAnalysisAcademicDegreeAppliedfor：Specialty：Dateo
2、fOralExamination：University：WangHongyuSunBowenMasterofEngineeringComputerSystemStrctureMarch，2012HarbinUniversityofScienceandTechnology哈爾濱理工大學(xué)碩士學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：此處所提交的碩士學(xué)位論文《基于Hadoop平臺的云計算構(gòu)建與日志分析》是本人在導(dǎo)師指導(dǎo)下，在哈爾濱理工大學(xué)攻讀碩士學(xué)位期間獨立進(jìn)行研究工作所取得的成果。據(jù)本人所知，論文中除已注明部分外不包含他人已發(fā)表或撰寫過的研究成果。對本文研究工作做出貢獻(xiàn)的個人和集體，均已在文中以明確方式注
3、明。本聲明的法律結(jié)果將完全由本人承擔(dān)。作者簽名：易’荔留日期：矽／許弓月／‘日哈爾濱理工大學(xué)碩士學(xué)位論文使用授權(quán)書《基于Hadoop平臺的云計算構(gòu)建與日志分析》系本人在哈爾濱理工大學(xué)攻讀碩士學(xué)位期間在導(dǎo)師指導(dǎo)下完成的碩士學(xué)位論文。本論文的研究成果歸哈爾濱理工大學(xué)所有，本論文的研究內(nèi)容不得以其它單位的名義發(fā)表。本人完全了解哈爾濱理工大學(xué)關(guān)于保存、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向有關(guān)部門提交論文和電子版本，允許論文被查閱和借閱。本人授權(quán)哈爾濱理工大學(xué)可以采用影印、縮印或其他復(fù)制手段保存論文，可以公布論文的全部或部分內(nèi)容。本學(xué)位論文屬于保密I]在年解密后適用授權(quán)書。不保密門(請在以上相應(yīng)方框內(nèi)
4、打√)作者簽名：乏該當(dāng)日期：沙／2年名月／‘日導(dǎo)師簽名：佩日期：加，≯年≥月／∥日哈爾濱理工人學(xué)工學(xué)碩二}：學(xué)位論文基于Hadoop平臺的云計算構(gòu)建與日志分析摘要云計算是一種新型計算模型，它將計算任務(wù)分布在大量計算機構(gòu)成的資源池里，使用戶能夠按需獲取計算能力、存儲空間和信息服務(wù)。與傳統(tǒng)的數(shù)據(jù)處理模式相比，云計算技術(shù)可以有效解決大規(guī)模數(shù)據(jù)處理面臨的性能瓶頸問題，提高了數(shù)據(jù)處理的可靠性及可擴(kuò)展性，提高了數(shù)據(jù)處理能力的同時降低了計算對硬件設(shè)備的要求。本文對云計算概念、種類、關(guān)鍵技術(shù)等進(jìn)行了重點研究。Hadoop是一個開源分布式計算平臺，它專為處理大規(guī)模數(shù)據(jù)和分布式計算而設(shè)計，是實現(xiàn)云計算的主要可選
5、方式之一。Hadoop平臺具有高效、可靠、擴(kuò)展性強等特點，它的兩個主要組成部分是Hadoop分布式文件系統(tǒng)HDFS和并行處理模型MapReduce。本文對HDFS的幾個方面：設(shè)計前提與目標(biāo)、體系結(jié)構(gòu)、保障可靠性措施和提升性能措施以及MapReduce的幾個方面：邏輯模型、編程模型、實現(xiàn)機制以及執(zhí)行流程的細(xì)致分析和研究。在分析了原有海量數(shù)據(jù)處理系統(tǒng)之后，結(jié)合云計算技術(shù)和Hadoop的優(yōu)勢，建立了一個新的數(shù)據(jù)處理模型，依據(jù)該模型搭建了系統(tǒng)平臺，并使用Web日志作為源數(shù)據(jù)進(jìn)行了平臺上的性能分析。通過實驗對比，總結(jié)了利用云計算技術(shù)，使得日志分析過程在消耗時間上大大縮短，并且隨著數(shù)據(jù)量的增大，Hado
6、op平臺的處理能力和數(shù)據(jù)存儲能力也在適應(yīng)著數(shù)據(jù)量的變化，恰恰體現(xiàn)了云計算技術(shù)在處理大規(guī)模數(shù)據(jù)時計算能力、存儲空問等按需提高的優(yōu)勢?；贖adoop平臺的云計算環(huán)境在處理大規(guī)模數(shù)據(jù)方面解決了傳統(tǒng)數(shù)據(jù)處理方法計算能力與存儲能力的性能瓶頸問題，并且良好的可擴(kuò)展性使得這種能力可以靈活的使用。關(guān)鍵詞云計算；Hadoop；HDFS；MapReduce；日志文件哈爾濱理工大學(xué)工學(xué)碩士學(xué)位論文TheCloudComputingBasedOnHadoopPlatformandLogAnalysisAbstractCloudcomputingisakindofnewtypedcalculationmodel，t
7、hedistributionofcomputingtasksinapoolofcomputerresources，enablinguserstoaccesstocomputingpower,thestoragespaceandinformationserviceswhentheyneed．Tocomparewiththetraditionaldataprocessingmode，cloudcomputingt
