資源描述:
《基于hbase的數(shù)據(jù)壓縮技術(shù)研究》由會(huì)員上傳分享,免費(fèi)在線(xiàn)閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、'U巧r<方取.脊甲r巧f、.茲t'.4".參通/.—.屬攀r^I.心'£V^於r領(lǐng)節(jié)聲嚴(yán)-V.么;^\呑,/#一/,戴、.U.-W'.嗎...署.辜\一癸/琴發(fā)..\巧:.,簽i?每.巧巧_齊i襄:、n香.一.;.M.巧罕/每復(fù)7苗、呑,.乂紀(jì)■-,找7;^貧背.巧d女健裕冷.戎襲哨.\、數(shù)?^譚-、寒?^,A‘聾k冥?;知;-W-¥巧%?苗,>篆..::‘^:.:資巧.為5羞sv,巧去當(dāng).;t、參男y、-名-令讓?zhuān)歼@H1;暮蔥音六^.靡..烤惹為.:公'r,I'4%f令,興,
2、-/:與咬;..皆,."言奈\/'啼逢;皆^:J':一.論打苦讀."-.:Vr.女若豕^絡(luò)■餐\祭讓致軍京;".尤:;聾,零,賓.\.:.'';/n.為.、v:‘.'-./豁廣?‘巧寧;游.e雜?就.警>".爲(wèi),殘-襲;,s.,備-如,超'>會(huì)\i..纖厚S脈-k1?。崳姙闃I(yè)星a>?巧^?麵/向-r73.±郎別P?擎’守.遍\?S期i在.興-’名.一.轉(zhuǎn).違t巧至空善%/,V觀.}-打.穀V孩:羣-護(hù)肖茸遊‘蠢V南京郵電大學(xué)學(xué)位論文原創(chuàng)性聲
3、明工作及取得的研究成的學(xué)位論文是我個(gè)人在導(dǎo)師指導(dǎo)下進(jìn)行。本人聲明所呈交的研究果標(biāo)注和致謝,已我知,除了文中特別加的地方外論文中不包含其他人經(jīng)或撰寫(xiě)過(guò)盡所發(fā)表,也不包含為獲得南電。巧成果京郵大學(xué)或其它教肯機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料的研一的志對(duì)巧所做的任何貢獻(xiàn)巧己與同工作同本研在論文中作了明確的說(shuō)明并示了謝意。我表^本人學(xué)位論文及涉及相關(guān),愿意資料若有不實(shí)承擔(dān)切相關(guān)的法律責(zé)任。。'>《斗研;命y曰期:H巧生簽名而本南京郵電大學(xué)學(xué)位論文使用授權(quán)聲明子文本人授權(quán)南京郵電大學(xué)可公保留并向國(guó)
4、家有關(guān)部口或機(jī)構(gòu)送交論文的印電復(fù)件和檔論文被查閱和借閩;可臥將學(xué)位論文的全部或部分進(jìn)行檢索;;允許內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)可臥用影印、縮印或掃描等復(fù)制手段保存、匯編本論文。本文電子文檔的內(nèi)容和紙質(zhì)采學(xué)位一論文的內(nèi)容相。論文的公(包括刊登)授權(quán)南京郵電大學(xué)研兒生院辦理。致布涉密學(xué)位論文在解密后適用本授權(quán)。書(shū)么。!么'午名:是師簽名;期:1研巧生簽日方ResearchonDataCompressionTechnologyBasedonHBaseThesisSubmittedtoNanjingUniversityo
5、fPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByCaihangFuSupervisor:Prof.HaiyanWangMarch2016摘要隨著大數(shù)據(jù)技術(shù)的發(fā)展以及Hadoop等大數(shù)據(jù)平臺(tái)的迅速普及與推廣,生活中產(chǎn)生的數(shù)據(jù)量呈現(xiàn)爆炸性增長(zhǎng)的趨勢(shì),數(shù)據(jù)種類(lèi)呈現(xiàn)復(fù)雜化,存儲(chǔ)方式呈現(xiàn)多樣化。傳統(tǒng)的基于行存儲(chǔ)的大數(shù)據(jù)存儲(chǔ)方式并不能夠以較低的成本將大數(shù)據(jù)存儲(chǔ)起來(lái)。與此同時(shí),由于數(shù)據(jù)的訪(fǎng)問(wèn)頻度的不同,對(duì)于不同訪(fǎng)問(wèn)級(jí)別的數(shù)據(jù)所采用的存儲(chǔ)方式提出了新的要求。針對(duì)以
6、上情況,結(jié)合大數(shù)據(jù)平臺(tái)下的HBase數(shù)據(jù)庫(kù),本文對(duì)大規(guī)模數(shù)據(jù)環(huán)境下基于HBase的壓縮存儲(chǔ)技術(shù)進(jìn)行了研究,主要的創(chuàng)新點(diǎn)如下:首先,提出一種基于訪(fǎng)問(wèn)頻度的數(shù)據(jù)分類(lèi)方法:根據(jù)一段時(shí)間內(nèi)數(shù)據(jù)庫(kù)文件的訪(fǎng)問(wèn)次數(shù)得到相應(yīng)的訪(fǎng)問(wèn)頻度,依據(jù)各數(shù)據(jù)文件的訪(fǎng)問(wèn)頻度及相關(guān)閾值將數(shù)據(jù)文件劃分為冷熱數(shù)據(jù)并確定具體的訪(fǎng)問(wèn)級(jí)別。在此基礎(chǔ)之上,提出基于數(shù)據(jù)訪(fǎng)問(wèn)級(jí)別的壓縮策略選擇方法:定義了確定數(shù)據(jù)樣本的抽樣方法,針對(duì)原有的壓縮策略選擇方法中先驗(yàn)知識(shí)未必可靠的缺陷,通過(guò)添加評(píng)估層及時(shí)調(diào)整先驗(yàn)知識(shí),并在基于相鄰參照區(qū)和基于統(tǒng)計(jì)列選擇方法的基礎(chǔ)上設(shè)計(jì)出HBas
7、e數(shù)據(jù)壓縮策略選擇方法,優(yōu)化存儲(chǔ)成本。仿真實(shí)驗(yàn)與結(jié)果表明,本文提出的方法不僅能夠有效實(shí)現(xiàn)大數(shù)據(jù)的存儲(chǔ),同時(shí)還提高了數(shù)據(jù)的訪(fǎng)問(wèn)性能。其次,從數(shù)據(jù)遷移的角度,提出一種基于文件價(jià)值的數(shù)據(jù)遷移方法。首先,根據(jù)數(shù)據(jù)訪(fǎng)問(wèn)頻度等因素計(jì)算出數(shù)據(jù)塊文件的價(jià)值,由這個(gè)文件價(jià)值得到數(shù)據(jù)遷移的目的設(shè)備。同時(shí)改進(jìn)了數(shù)據(jù)遷移技術(shù),利用數(shù)據(jù)緩沖區(qū)和雙緩沖隊(duì)列解決了數(shù)據(jù)遷入遷出速率不匹配的問(wèn)題,提高了數(shù)據(jù)遷移效率,節(jié)省了內(nèi)存和時(shí)間消耗,最終實(shí)現(xiàn)了對(duì)大數(shù)據(jù)平臺(tái)數(shù)據(jù)的存儲(chǔ)優(yōu)化。最后,基于以上的方法與理論,本文構(gòu)建了基于數(shù)據(jù)壓縮存儲(chǔ)的原型系統(tǒng)并給出一個(gè)電子商務(wù)
8、應(yīng)用示范。系統(tǒng)的實(shí)現(xiàn)遵循需求分析、概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)及其實(shí)現(xiàn)等流程,完成壓縮存儲(chǔ)管理、數(shù)據(jù)遷移等功能模塊,驗(yàn)證了本文提出算法的可行性,展現(xiàn)了基于HBase的壓縮技術(shù)理論成果在動(dòng)態(tài)場(chǎng)景下的應(yīng)用效果。關(guān)鍵詞:冷熱數(shù)據(jù),訪(fǎng)問(wèn)級(jí)別,HBase,數(shù)據(jù)壓縮,數(shù)據(jù)遷移IAbstractWiththedevelopme