應(yīng)用于海量數(shù)據(jù)處理分析云計(jì)算平臺(tái)搭建的研究

《應(yīng)用于海量數(shù)據(jù)處理分析云計(jì)算平臺(tái)搭建的研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、天津科技大學(xué)學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究工作所取得的成果。除文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包括任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫(xiě)的成果內(nèi)容，也不包括為獲得天津科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料。對(duì)本文研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。作者簽名：／MII、I’日期：夕11年，月，’日知識(shí)產(chǎn)權(quán)和專利權(quán)保護(hù)聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師具體指導(dǎo)下并得到相關(guān)研究經(jīng)費(fèi)

2、支持下完成的，其數(shù)據(jù)和研究成果歸屬于導(dǎo)師和作者本人，知識(shí)產(chǎn)權(quán)單位屬天津科技大學(xué)；所涉及的創(chuàng)造性發(fā)明的專利權(quán)及使用權(quán)完全歸天津科技大學(xué)所有。本人保證畢業(yè)后，以本論文數(shù)據(jù)和資料發(fā)表論文或使用論文工作成果時(shí)署名第一單位仍然為天津科技大學(xué)。本人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。力／、作者簽名：腫飛’Ⅵ’日期：l,o(f年．；月Il，日學(xué)位論文版權(quán)使用授權(quán)書(shū)本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和電子版，同意公布論文的全部或部分內(nèi)容，允許

3、論文被查閱和借閱。本人授權(quán)天津科技大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。保密II(請(qǐng)?jiān)诜娇騬4打“√”)，在年解密后適用本授權(quán)書(shū)。本學(xué)位論文屬于不保密I習(xí)(請(qǐng)?jiān)诜娇騼?nèi)打“√”)。作者簽名：槲日期．州年導(dǎo)師簽名：日期：如／『年了月，咱多月f1／日摘要在因特網(wǎng)高速發(fā)展、上網(wǎng)人群急劇增長(zhǎng)的今天，對(duì)于那些提供網(wǎng)絡(luò)服務(wù)的互聯(lián)網(wǎng)公司來(lái)說(shuō)，每天都會(huì)有海量的信息需要處理，用以分析出用戶的需求、各種產(chǎn)品的效果等，往往某些數(shù)據(jù)分析都會(huì)有時(shí)間上

4、的要求。對(duì)于現(xiàn)實(shí)中存儲(chǔ)空間和處理時(shí)間的需求，傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)已很難滿足。本文的主要目的是構(gòu)建一個(gè)成本較低的分布式海量數(shù)據(jù)處理系統(tǒng)來(lái)存儲(chǔ)和處理這些數(shù)據(jù)。以這個(gè)問(wèn)題作為出發(fā)點(diǎn)，本文在分析現(xiàn)有分布式計(jì)算和存儲(chǔ)等關(guān)鍵技術(shù)基礎(chǔ)上，結(jié)合對(duì)Hadoop云計(jì)算技術(shù)的研究和校園網(wǎng)實(shí)際軟硬件條件，為滿足自身的業(yè)務(wù)需求，提出了一種基于云計(jì)算技術(shù)的數(shù)據(jù)處理模型，并從數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)、系統(tǒng)模塊化、程序流程化和編程技術(shù)平臺(tái)等方面研究該模型的開(kāi)發(fā)方法，最后將該模型應(yīng)用于分布式海量數(shù)據(jù)搜索引擎。經(jīng)過(guò)以上研究得知，Hadoop云計(jì)算平臺(tái)

5、的可靠性、高效性、可伸縮性滿足了分布式搜索引擎的技術(shù)需求，因此本文選用Hadoop系統(tǒng)作為該應(yīng)用系統(tǒng)的分布式計(jì)算平臺(tái)。本文對(duì)傳統(tǒng)搜索引擎中爬行、索引、搜索過(guò)程中的每一步驟進(jìn)行詳細(xì)分析，并改進(jìn)了其功能模塊，將非順序執(zhí)行的步驟分解為兩個(gè)子任務(wù)：數(shù)據(jù)計(jì)算任務(wù)及數(shù)據(jù)合并任務(wù)。同時(shí)，應(yīng)用MapReduce編程思想，把所有數(shù)據(jù)計(jì)算任務(wù)都封裝到Map函數(shù)中，把所有數(shù)據(jù)合并任務(wù)都封裝到Reduce函數(shù)中。研究工作主要在于將改進(jìn)的搜索引擎系統(tǒng)部署在廉價(jià)計(jì)算機(jī)構(gòu)成的Hadoop云計(jì)算環(huán)境中，使之具有較快的響應(yīng)速度、較高

6、的可靠性及擴(kuò)展性。本文的主要特點(diǎn)是將經(jīng)研究提出的模型與實(shí)際應(yīng)用業(yè)務(wù)相結(jié)合，利用前沿的分布式框架技術(shù)較好地滿足了項(xiàng)目需求，并將該模型部署到實(shí)際分布式環(huán)境當(dāng)中，用實(shí)驗(yàn)結(jié)果來(lái)檢驗(yàn)系統(tǒng)的實(shí)用價(jià)值，比如高效率、低成本、可拓展性和易維護(hù)性等。關(guān)鍵詞：海量數(shù)據(jù)；Hadoop：搜索引擎ABSTRACTNowadays，astherapiddevelopmentoftheInternetandthegrowthofInternetpeople，thereisafloodofinformationtoprocessfo

7、rthoseInternetcompaniesthatprovidenetworkservices．TheyhavetoanalyzetheneedsoftheuseI'SandtheeffectsofavarietyofproductsandSOon．Oftentherewillbesomeofthedataanalysistimerequirements．Fortherealstoragespaceandprocessingtimerequirements，thetraditionaldatab

8、asesystemhasbeendifficulttomeet．Themainpurposeofthispaperistobuildamassivelow-costdistributeddataprocessingsystemtostoreandprocessthedata．Asastartingpontothisproblem，afteranalyzingtheexistingdistributedcomputingandstorageonthebasisofkey