資源描述：
《分布式海量數(shù)據(jù)儲(chǔ)存系統(tǒng)負(fù)載均衡算法的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、電子科技大學(xué)UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA碩士學(xué)位論文MASTERTHESIS（電子科技大學(xué)圖標(biāo)）論文題目分布式海量數(shù)據(jù)儲(chǔ)存系統(tǒng)負(fù)載均衡算法的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)學(xué)科專業(yè)無線電物理學(xué)號(hào)201021040346作者姓名許俊紅指導(dǎo)教師楊雪松萬方數(shù)據(jù)分類號(hào)密級(jí)注1UDC學(xué)位論文分布式海量數(shù)據(jù)儲(chǔ)存系統(tǒng)負(fù)載均衡算法的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)（題名和副題名）許俊紅（作者姓名）指導(dǎo)教師楊雪松副教授電子科技大學(xué)物理電子學(xué)院（姓名、職稱、單位名稱）申請(qǐng)學(xué)位級(jí)別碩士學(xué)科專業(yè)無線電物理提交論文日期2013.
2、4論文答辯日期2013.5學(xué)位授予單位和日期電子科技大學(xué)2013年6月29日答辯委員會(huì)主席楊宏春評(píng)閱人肖紹球邵維注1：注明《國(guó)際十進(jìn)分類法UDC》的類號(hào)。萬方數(shù)據(jù)DESIGNANDIMPLEMENTATIONOFLOADBALANCINGALGORITHMINADISTRIBUTEDMASSDATASTORAGESYSTEMAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:RadioPhysicsAuthor:XuJunhongA
3、dvisor:YangXuesongSchool:PhysicalElectronics萬方數(shù)據(jù)獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。作者簽名：日期：年月日論文使用授權(quán)本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國(guó)家有關(guān)部門或
4、機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定）作者簽名：導(dǎo)師簽名：日期：年月日萬方數(shù)據(jù)摘要摘要信息社會(huì)給人們帶來便利的同時(shí)也產(chǎn)生了大量的數(shù)據(jù)，關(guān)系型數(shù)據(jù)庫由于其架構(gòu)缺陷不適用于處理大數(shù)據(jù)。目前比較常用的存儲(chǔ)和處理海量數(shù)據(jù)的系統(tǒng)是是NoSQL(NotonlyStructuredQueryLanguage)數(shù)據(jù)庫。顯然，如何協(xié)同這些獨(dú)立的計(jì)算機(jī)高效地完成任務(wù)是十分重要的，這
5、就是負(fù)載均衡的作用。負(fù)載均衡是既定硬件架構(gòu)下整個(gè)系統(tǒng)性能的關(guān)鍵，近些年來隨著云計(jì)算的興起迅速成為研究熱點(diǎn)。論文在研究了常用的NoSQL系統(tǒng)和負(fù)載均衡技術(shù)的基礎(chǔ)上，設(shè)計(jì)了一種新的負(fù)載均衡算法。這種算法綜合利用了大數(shù)據(jù)處理系統(tǒng)本身的特點(diǎn)，具有較好的性能。同時(shí)該算法還能在最優(yōu)節(jié)點(diǎn)已經(jīng)被占用的情況下迅速找出次最優(yōu)節(jié)點(diǎn)等，非常適合用于高并發(fā)系統(tǒng)的負(fù)載均衡。由于內(nèi)存比磁盤的尋道速度大約快十萬倍，為了提高響應(yīng)速度，人們總是希望將盡可能多的數(shù)據(jù)由磁盤提前加載進(jìn)入內(nèi)存。但內(nèi)存容量比磁盤小很多，因此內(nèi)存容量往往成為大數(shù)據(jù)處理系統(tǒng)的瓶頸。為了提高內(nèi)存的使用效
6、率，本文提出了一種類似內(nèi)存池的方法來重寫管理內(nèi)存分配的配置器，使內(nèi)存的有效使用率得到了很大的改善。本文的主要工作包括：首先，研究了常用的NoSQL數(shù)據(jù)庫和負(fù)載均衡算法，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)效率較高的負(fù)載均衡算法。通過引入節(jié)點(diǎn)與兄弟節(jié)點(diǎn)的子節(jié)點(diǎn)的關(guān)系，并輔之以旋轉(zhuǎn)操作，有效降低了整棵排序二叉樹的高度，使算法的時(shí)間代價(jià)從常用的加權(quán)輪詢算法的O(N)降為O(logN)，而空間代價(jià)保持在O(N)不變。論文中除了提供算法實(shí)現(xiàn)的偽代碼以外，還對(duì)算法進(jìn)行了分析并提供了流程圖，可以根據(jù)流程圖方便地移植到其他相似的系統(tǒng)中。配置器負(fù)責(zé)內(nèi)存的分配和回收，默認(rèn)的配
7、置器具有效率不高、易產(chǎn)生內(nèi)存碎片等弱點(diǎn)。本文通過采用內(nèi)存池的思想優(yōu)化了配置器，通過一次性從內(nèi)核申請(qǐng)較大的內(nèi)存并自己維護(hù)，提高了內(nèi)存分配和使用的效率。此外，還根據(jù)不同的場(chǎng)景實(shí)現(xiàn)了多種配置器，并實(shí)現(xiàn)了配置器的參數(shù)化設(shè)置，使配置器可以根據(jù)使用場(chǎng)景通過腳本實(shí)現(xiàn)不同的配置，從而可以動(dòng)態(tài)地對(duì)系統(tǒng)進(jìn)行調(diào)節(jié)。最后，搭建了測(cè)試環(huán)境，并對(duì)該算法和內(nèi)存優(yōu)化進(jìn)行了測(cè)試并對(duì)全文進(jìn)行了總結(jié)和展望。關(guān)鍵詞：非關(guān)系型數(shù)據(jù)庫，內(nèi)存優(yōu)化，負(fù)載均衡I萬方數(shù)據(jù)ABSTRACTABSTRACTInformationSocietybringsgreatconveniencetop
8、eople,atthesametimeproduceslargeamountsofdata.Duetoitsstructuredefects,thetraditionalrelationaldatabase
