面向流量測(cè)量的海量數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

《面向流量測(cè)量的海量數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、分類(lèi)號(hào)TP392密級(jí)重慶郵電大學(xué)碩士學(xué)位論文論文題目面向流量測(cè)量的海量數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)英文題目DesignandImplementationMassiveDataProcessingSystemOrientedtoNetworkMeasurement碩士研究生鏖主堅(jiān)指導(dǎo)教師壑國(guó)笪耋蠼學(xué)科專(zhuān)業(yè)通信與信息系統(tǒng)論文提交El期2￡fz生皇且12目論文答辯日期蘭：生生篁目!Z目論文評(píng)閱人答辯委員會(huì)主席2012年皇月2]日獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰

2、寫(xiě)過(guò)的研究成果，也不包含為獲得重麼郵電太堂或其他教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說(shuō)明并表示謝意。學(xué)位論文作者簽名：靡招．垣簽字日期：勁『z年占月z7日學(xué)位論文版權(quán)使用授權(quán)書(shū)本學(xué)位論文作者完全了解重麼整電盔堂有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和磁盤(pán)，允許論文被查閱和借閱。本人授權(quán)重龐邙皇太堂可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。(保密的學(xué)位論文在解密后適用本授權(quán)書(shū))學(xué)位論文作者簽名：康格．巨導(dǎo)師簽名：簽

3、字日期：和拯年占月27日簽字日期：趴年17月w侶重慶郵電大學(xué)碩士論文摘要隨著互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大，服務(wù)器托管作為互聯(lián)網(wǎng)產(chǎn)業(yè)重要業(yè)務(wù)正面臨日趨激烈的競(jìng)爭(zhēng)。為提高市場(chǎng)競(jìng)爭(zhēng)力，四川IDC數(shù)據(jù)中心計(jì)劃向其托管網(wǎng)站提供用戶(hù)行為分析服務(wù)，主要包括網(wǎng)站的點(diǎn)擊次數(shù)、停留時(shí)間、流向地域等。該數(shù)據(jù)中心托管的網(wǎng)站超過(guò)千家，對(duì)其所有用戶(hù)提供該服務(wù)，對(duì)數(shù)據(jù)的存儲(chǔ)與處理提出極高要求，系統(tǒng)必然面臨海量數(shù)據(jù)問(wèn)題。本文針對(duì)流量測(cè)量中的海量數(shù)據(jù)問(wèn)題，分析研究了當(dāng)前用于網(wǎng)絡(luò)流量測(cè)量的數(shù)據(jù)存儲(chǔ)系統(tǒng)，根據(jù)FastBit使用的WAH壓縮算法的特點(diǎn)提出一種基于列基數(shù)聚集存儲(chǔ)方法，應(yīng)用于該海量數(shù)據(jù)處理系統(tǒng)。論文主要工作如下

4、：①系統(tǒng)框架設(shè)計(jì)在分析數(shù)據(jù)中心需求的基礎(chǔ)上，給出系統(tǒng)的總體結(jié)構(gòu)和各子系統(tǒng)的設(shè)計(jì)。系統(tǒng)整體分成數(shù)據(jù)處理子系統(tǒng)和數(shù)據(jù)存儲(chǔ)子系統(tǒng)。②數(shù)據(jù)處理子系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)該部分包括三個(gè)功能模塊：數(shù)據(jù)清洗模塊、數(shù)據(jù)流聚合模塊、訪(fǎng)問(wèn)者地域模塊。數(shù)據(jù)清洗模塊完成臟數(shù)據(jù)的過(guò)濾；數(shù)據(jù)流聚合模塊針對(duì)一段時(shí)間內(nèi)同一訪(fǎng)問(wèn)者的多條訪(fǎng)問(wèn)記錄進(jìn)行合并操作，有效控制系統(tǒng)總數(shù)據(jù)規(guī)模；訪(fǎng)問(wèn)者地域模塊完成訪(fǎng)問(wèn)者D完到訪(fǎng)問(wèn)者所在地域的轉(zhuǎn)換。③數(shù)據(jù)存儲(chǔ)子系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)該模塊包括四個(gè)主要模塊：數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)模塊、數(shù)據(jù)表聚合模塊、基數(shù)聚集數(shù)據(jù)存儲(chǔ)方法的設(shè)計(jì)與實(shí)現(xiàn)模塊和索引優(yōu)化模塊。存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)中設(shè)計(jì)了詳細(xì)數(shù)據(jù)表和匯總數(shù)

5、據(jù)表兩類(lèi)，分別用于存儲(chǔ)用戶(hù)詳細(xì)訪(fǎng)問(wèn)狀況和概要訪(fǎng)問(wèn)狀況：數(shù)據(jù)表聚合模塊通過(guò)對(duì)查詢(xún)過(guò)程中FastBit所用到的bundle內(nèi)存結(jié)構(gòu)的使用，完成詳細(xì)表到聚合表的數(shù)據(jù)按條件聚合；基數(shù)聚集數(shù)據(jù)存儲(chǔ)方法模塊中，在對(duì)WAH壓縮算法進(jìn)行研究的基礎(chǔ)上，提出一種基于基數(shù)聚集的數(shù)據(jù)存儲(chǔ)方法，該方法不僅能夠有效降低索引存儲(chǔ)空間，具有較高的空間效率，而且能夠提高數(shù)據(jù)查詢(xún)效率；在索引優(yōu)化模塊中采用索引優(yōu)化理論結(jié)合系統(tǒng)實(shí)際需要設(shè)計(jì)適合需要的索引方法。④實(shí)際網(wǎng)絡(luò)環(huán)境下的測(cè)試與分析給出了系統(tǒng)性能分析，并詳細(xì)分析了基于基數(shù)聚集存儲(chǔ)后索引占用存儲(chǔ)空間和數(shù)據(jù)查詢(xún)效率的對(duì)比，由測(cè)試結(jié)果可知本系統(tǒng)達(dá)到設(shè)計(jì)目標(biāo)。本文設(shè)計(jì)

6、實(shí)現(xiàn)的系統(tǒng)完成了IDC數(shù)據(jù)中心海量用戶(hù)行為數(shù)據(jù)所需的海量數(shù)據(jù)存儲(chǔ)與處理工作，能夠提供每個(gè)網(wǎng)站的訪(fǎng)問(wèn)者P、點(diǎn)擊、停留時(shí)間以及流向等訪(fǎng)問(wèn)信重慶郵電大學(xué)碩士論文摘要息。關(guān)鍵詞：海量數(shù)據(jù)、位圖索引、FastBit、列式存儲(chǔ)II重慶郵電大學(xué)碩士論文AbstractWiththeexpandingofIntemetscale，serverhostingasanimportindustyisfacingcompetitionincreasingly．Inordertoimproveitscompetence，theIDCofSiehuanplantoreleaseuserbehaviora

7、nalysisservice，itconsistsofclickcount,visittime，directionandSOon．TheIDCscalehostsmorethan10000websites，providingserviceofthiskindt0alltheseusers，thissystemhasextremedemandindataprocessinganddatastoragethatisthemassivedataproblem．Inordertosolvemassivedata